Waarom Performance per Watt de Ultime AI-metric is

Kracht is een onontkoombare beperking voor AI-infrastructuur. Het aantal tokens dat een AI-fabriek kan genereren binnen een vast stroombudget, bepaalt de omzet en winstgevendheid. Hierdoor is performance per watt — een meetwaarde die niet kan worden gemanipuleerd, maar alleen kan worden verdiend via praktische resultaten — de fundering voor AI-fabrieken. De infrastructuurkeuzes die organisaties vandaag maken, bepalen wie kan opschalen en wie niet in een wereld waar de stroomvoorziening beperkt is.

Bij vrijwel elk vooraanstaand AI-model wordt tegenwoordig gebruik gemaakt van een mixed-of-experts (MoE) architectuur. Het bedienen van MoE op rack-schaal vereist co-design over elke laag van het systeem en de softwarestack, evenals de operationele diepgang die voortkomt uit het draaien van deze modellen onder echte productiebelasting. De NVIDIA Blackwell NVL72-platform biedt deze bewezen rack-schaal basis en levert de hoogste performance per watt om de omzet te maximaliseren en de laagste token kosten te realiseren voor maximale winstmarges. Het is deze basis waarop de NVIDIA Vera Rubin-platform verder bouwt om de energie-efficiëntie op rack-schaal te verhogen.

Bij het maximaliseren van performance per watt voor grensverleggende AI brengen nieuwe generaties modellen architectonische veranderingen met zich mee die meer intelligentie ontgrendelen, terwijl ze nieuwe optimalisaties vereisen om efficiënt op schaal te draaien. De NVIDIA GB300 NVL72 levert tot 25x meer performance per watt in vergelijking met de NVIDIA Hopper generatie. Dit illustreert waar Blackwell vandaag staat, een startpunt dat blijft verbeteren. Het prestatievermogen per watt dat NVIDIA Blackwell levert, is het resultaat van een extreme co-design, waarbij elk onderdeel van het rack-systeem, van silicium tot software, samen is ontworpen om de token throughput voor AI-inferentieworkloads te maximaliseren.

Bovendien is rack-schaal betrouwbaarheid moeilijk te bereiken. Het gebruik van rack-systeem introduceert storingswijzen die enkelvoudige knooppuntimplementaties nooit tegenkomen. De NVIDIA Blackwell NVL72-systemen blijven de norm zetten in termen van betrouwbare prestaties over een breed scala van modellen en productie toepassingen. Dit komt tot uiting in het feit dat vooraanstaande AI-laboratoria zoals Anthropic en OpenAI gebruikmaken van NVIDIA Blackwell NVL72-systemen voor hun inferentieworkloads. De verworven ervaring in productie, opgebouwd over generaties van grensverleggende modellen en echte implementaties, geeft NVIDIA Vera Rubin zijn voorsprong.

Lees het volledige artikel van Nvidia.