Efficiëntie van AI-fabrieken belicht op AI Infra Summit

Op het AI Infra Summit in Santa Clara, waar meer dan 8.000 deelnemers aanwezig waren, sprak Ian Buck, VP van NVIDIA, over de efficiëntie van AI-fabrieken. Dit jaar groeide de opkomst substantieel ten opzichte van vorig jaar, wat de groeiende interesse in infrastructuurtechnologie bevestigt. Buck besprak nieuwe samenwerkingen, waaronder die met Amazon’s Annapurna Labs en d-Matrix, gericht op de ontwikkeling van de NVHBM-geheugentechnologie en de integratie van NVIDIA's NVLink Fusion platform met d-Matrix Raptor XPUs.

Tijdens het evenement toonden NVIDIA en zijn partners vooruitgang op verschillende fronten. Emerald AI en NVIDIA onthulden een programma voor flexibele belastingen dat samenwerkt met Silicon Valley Power, en Lambda rapporteerde dat de prestaties per watt met 23% zijn verbeterd met behulp van NVIDIA's DSX MaxLPS. Daarnaast heeft Pinterest de Blackwell- en Dynamo-inferentiesoftware ingezet om conversational AI te verbeteren.

De verschuiving in de aanpak van AI-infrastructuur richt zich steeds meer op de efficiëntie en schaalbaarheid met de nieuwe metric van *agentic tokens per megawatt*. NVIDIA’s volledige ecosysteem, inclusief Vera Rubin-systemen en Dynamo-software, is erop gericht om de tokenproductie te maximaliseren en tegelijkertijd de energie-efficiëntie te verbeteren. De DSX MaxLPS-technologie biedt een aanzienlijke verhoging van het aantal tokens per megawatt, wat cruciaal is voor AI-fabrieken die economische waarde uit hun energieverbruik willen halen.

Bovendien demonstreerden partners zoals Emerald AI en Lambda innovaties in energiemanagement en prestatieverbeteringen. De DSX Flex-software van Emerald AI maakt het mogelijk om het energieverbruik op basis van real-time elektriciteitsnetwerk signalen dynamisch aan te passen. Lambda's resultaten toonden aan dat binnen dezelfde energie-infrastructuur meer GPU-capaciteit kan worden geïntegreerd, waarmee de productiecapaciteit per verbruikte energie wordt geoptimaliseerd.

Voor startups die gebruikmaken van de NVIDIA Vera CPU zijn de resultaten veelbelovend. Benchmarktests tonen aan dat deze CPU aanzienlijk betere prestaties levert voor agentic AI-toepassingen, met enorme verbeteringen ten opzichte van traditionele CPU's. Dit bevestigt de trend dat efficiëntie en schaalbaarheid de toekomst van AI-infrastructuur bepalen.

Lees het volledige artikel van Nvidia.