NVIDIA Vera Rubin NVL72: Nieuwe standaard in efficiëntie

De recente data van OpenRouter toont aan dat agentic AI-werkbelasting tot 15 keer meer tokens verbruikt dan eenvoudige chatverzoeken. Dit komt door de complexiteit van taken zoals investeringonderzoek, waarbij een AI-agent financiële databases raadpleegt, nieuws en documenten doorzoekt, sub-agenten uitvoert voor vergelijkingen, en uiteindelijk alles samenvoegt in een aanbeveling. Deze processen leiden tot een hogere vraag naar tokens, en het efficiënt beheren van deze vragen is cruciaal naarmate agentic AI verder in de industrie wordt uitgerold.

NVIDIA's nieuwste systeem, de Vera Rubin NVL72, biedt een opmerkelijke oplossing voor deze behoefte aan efficiëntie. Met metingen die een doorvoer van tot 30 keer hoger per megawatt laten zien in vergelijking met eerdere modellen, is de NVL72 een krachtige speler voor agentic workloads. Deze resultaten zijn verkregen via het SemiAnalysis AgentX-werkload, dat echte coding-sessies simuleert en daarmee een exact beeld schetst van de prestatiecapaciteiten in een productieomgeving.

Bovendien biedt de Vera Rubin NVL72 tot 35 keer lagere kosten per miljoen tokens. Dit betekent dat bedrijven agentic workload continu kunnen draaien zonder dat dit een enorme belasting van energiekosten met zich meebrengt. Een hogere doorvoer per megawatt vergroot niet alleen de inkomsten bij AI-fabrieken, maar verlaagt ook de kosten, wat de winstgevendheid ten goede komt. Dit is een belangrijke ontwikkeling voor bedrijven die op zoek zijn naar meer schaalbaarheid zonder immense kosten te maken.

De Vera Rubin NVL72 maakt gebruik van geavanceerde technieken zoals gedisaggregeerde services en distributed KV-caching om de efficiëntie te maximaliseren. Door verschillende onderdelen van het AI-werkproces onafhankelijk op te schalen, worden uitvoertijden verkort en kunnen resources effectiever worden ingezet. Met de nieuwste innovaties in GPU-technologie en unieke architecturen is NVIDIA erin geslaagd om de lat voor agentic AI-werkzaamheden aanzienlijk hoger te leggen, wat het een aantrekkelijke optie maakt voor bedrijven die AI op grote schaal willen implementeren.

Lees het volledige artikel van Nvidia.