NVIDIA's AI Factory Efficiency: From Megawatts to Tokens

In een hete augustusavond in Silicon Valley werd een innovatief systeem gelanceerd om de energieconsumptie van een AI-fabriek te optimaliseren. Emerald AI, in samenwerking met NVIDIA, heeft een grid-orchestration platform ontwikkeld dat in staat is om workloads aan te passen op basis van de vraag van het elektriciteitsnet. Dit betekent dat minder dringende taken automatisch vertraging oppakken, terwijl kritische AI-processen ononderbroken doorgaan. Deze flexibele aanpak om te reageren op energievraag, speciaal ontwikkeld voor de Silicon Valley Power, heeft inmiddels al 200 keer met succes gefunctioneerd.

Het doel van deze technologie is om de elektriciteitsvraag te verlagen wanneer het net onder druk staat, zonder dat de belangrijke AI-werkzaamheden worden onderbroken. Resultaten gepresenteerd tijdens de AI Infra Summit bevestigen dat een slim beheer van een vast energiebudget kan resulteren in 24% meer output van tokens. Dit biedt de industrie een mogelijkheid om de capaciteitsproblemen aan te pakken zonder te wachten op toekomstige elektriciteitsinfrastructuur.

NVIDIA's DSX-platform is ontworpen om het rendement van AI-fabrieken te maximaliseren. Het stelt operators in staat om GPU- en rackvermogen in real time te monitoren en aan te passen, wat het mogelijk maakt om meer capaciteitsgebruik te realiseren zonder extra energie-investeringen. Dit inzicht is cruciaal in een tijd waarin de prestaties per verbruikte energie centrale kritiek zijn. NVIDIA's aanpak toont aan dat door het optimaliseren van het hele systeem in plaats van enkel componenten, de efficiëntie aanzienlijk kan worden verhoogd.

Bijvoorbeeld, een recente studie vanuit Lambda toonde aan dat met de toepassing van het DSX MaxLPS-systeem, dat de vermogensverdeling van 19 nodes binnen dezelfde budgettendens zoals 16 nodes verbeterde, de cluster-brede token throughput met 24% verhoogd kon worden. Als deze aanpak op grote schaal wordt toegepast, kan het aanzienlijke voordelen opleveren voor de gehele AI-industrie. Het nieuwe NVIDIA DSX-platform biedt daarmee de benodigde tools en referentieontwerpen om zowel huidige als toekomstige AI-structuren effectiever en energie-efficiënter te maken.

Lees het volledige artikel van Nvidia.