NVIDIA Vera Rubin NVL72 Behaalt Topprestaties in MLPerf

In de wereld van AI-infrastructuur zijn systeemprestaties, efficiënte schaalvergroting en continue software-optimalisatie cruciale elementen die de economische impact van AI-inferentie bepalen. Hogere systeemprestaties resulteren in meer gegenereerde tokens en dus een hogere omzet. Gelijktijdige schaalvergroting betekent dat de doorvoer naar verhouding toeneemt naarmate er hardware wordt toegevoegd, wat het middelenverbruik minimaliseert. Bovendien zorgt voortdurende optimalisatie ervoor dat organisaties meer waarde halen uit hun investeringen in infrastructuur. De onderliggende factor voor al deze elementen is platformfungibiliteit, waarbij dezelfde infrastructuur elk model en elke werklast kan draaien, van training tot inferentie.

De NVIDIA platform is speciaal ontworpen om optimaal te presteren op deze gebieden, zoals bevestigd door de recent gepubliceerde resultaten van MLPerf Inference v6.1. De nieuwste Vera Rubin NVL72 levert in haar eerste MLPerf Inference-preview tot 3,7 keer betere doorvoer dan de GB300 NVL72. Daarnaast behalen vier racks van de GB300 NVL72 met 288 GPU’s een schaalvergrotingsefficiëntie van 99%, wat betekent dat de doorvoer bijna lineair toenam, zelfs vanaf de basislijn van een enkele rack.

De prestaties worden verder aangedreven door continue software-optimalisaties, die een tot 1,6 keer hogere prestatie in vergelijking tot eerdere versies opleveren. Dit proces van optimale softwareontwikkeling heeft ook geleid tot verdere verbeteringen, zelfs na de indiening van v6.1. Het gebruik van innovatieve technieken zoals gedisagineerde service en grote schaal expert-parallelisme maximaliseert de efficiëntie van de modellen die door Vera Rubin NVL72 worden aangedreven.

Belangrijk te vermelden is hoe gelijktijdige efficiëntie van schaalvergroting, zoals aangetoond met de DeepSeek-R1 benchmark, aantoont dat extra GPU's daadwerkelijk leiden tot een proportionele toename van de doorvoer. Dit bewijst dat de architectuur, interconnectiviteit en software goed moeten samenwerken om duurzame infrastructuurprestaties te realiseren. De resultaten van NVIDIA tonen niet alleen de vooruitgang van het bedrijf in AI-infrastructuur aan, maar benadrukken ook de cruciale rol van partners in de ecosystemen van cloud- en edge-technologieën.

Lees het volledige artikel van Nvidia.