NVIDIA Spectrum-6 voor Gigascale AI-fabrieken

De wereld van kunstmatige intelligentie (AI) is de gigascale-ervaring binnengestapt, waarbij geavanceerde AI-fabrieken honderden duizenden GPU's en CPU's samenbrengen. Deze samenwerking is essentieel voor het trainen van grensmodellen en het genereren van intelligentie op ongekende schaal. In dit kader is NVIDIA Spectrum-6 ontwikkeld, een Ethernet-switchsysteem met een capaciteit van 102,4 terabit per seconde, waarmee de capaciteit van eerdere systemen verdubbeld wordt. Spectrum-6 maakt deel uit van het NVIDIA Vera Rubin-platform en speelt een cruciale rol in de moderne AI-fabrieken.

De implementatie van Spectrum-6 zal worden geleid door vooraanstaande AI-infrastructuurbouwers, zoals CoreWeave, Microsoft, Nebius, SpaceXAI en Tesla. Door dit systeem in hun AI-fabrieken te integreren, kunnen ze hun rekencapaciteit als een samenhangende en prestatiegerichte bron aanbieden. Dit stelt klanten in staat om modellen sneller te trainen en inferentiediensten efficiënter uit te voeren. "Netwerken is cruciaal voor het leveren van prestaties op schaal," aldus Min Jun van CoreWeave, die de impact van Spectrum-6 op AI-werkbelastingen benadrukt.

Bij gigascale AI wordt de prestatie steeds meer bepaald door coördinatie. Dit houdt in dat elke GPU optimaal moet samenwerken om vertraging te voorkomen. Hierdoor is het essentieel dat de netwerkinfrastructuur robuust en snel blijft, zelfs tijdens intensieve belasting. Spectrum-6 biedt daarom de mogelijkheid voor GPU's om op elkaar afgestemd te werken, wat resulteert in een snellere doorlooptijd en economische voordelen bij hoge belasting. De eerste implementaties van Spectrum-6 zullen de toegankelijkheid van deze technologie naar een breder scala aan ontwikkelaars en startups uitbreiden.

Het vernieuwde NVIDIA Spectrum-X Ethernet, dat resulteert uit de combinatie van de Spectrum-6-switchchip en de ConnectX-9 SuperNIC, is specifiek ontworpen voor AI-toepassingen. Dit platform verzekert een hoge netwerkefficiëntie en biedt de mogelijkheid voor zowel pluggable als co-packaged optische formaten, waarbij liquid cooling ondersteunt wordt. Met deze geavanceerde technologie kan NVIDIA een complete AI-fabriek aanbieden die de tijd om modellen te trainen verkort en de kosten per token vermindert. Spectrum-X Ethernet kan tot 1,6 keer hogere netwerkprestaties leveren dan standaard Ethernet en ondersteunt netwerken met meer dan 100.000 GPU's met een efficiëntie van 95%.

Lees het volledige artikel van Nvidia.