NVIDIA NVLink Fusion Breidt Uit Met NVHBM Geheugen

De opkomst van kunstmatige intelligentie (AI) stelt nieuwe eisen aan infrastructurele systemen. Als AI-agenten en workloads met trillions parameter mainstream worden, is de prestaties van AI-infrastructuur niet alleen afhankelijk van de rekenkracht, maar ook van de integratie van rekenkracht, geheugen, opslag, netwerken en software in een samenhangend systeem. NVIDIA heeft daarom de NVLink Fusion uitgebreid met NVIDIA NVHBM, een innovatieve technologie voor hoog-bandbreedtegeheugen, die de prestaties en efficiëntie van geheugen voor XPUs aanzienlijk verbetert.

Traditionele architekturen voor hoog-bandbreedtegeheugen (HBM) plaatsen de geheugencentrale op de XPU-die, wat waardevolle siliciumruimte benut die anders voor rekenkracht had kunnen worden aangewend. NVHBM integreert de aangepaste geheugencentrale in de basisdie van de HBM-stack, wat resulteert in een toename van 30% in geheugenbandbreedte en een afname van 15% in HBM-energieverbruik. Tevens wordt er tot 25% meer ruimte op de XPU-computerdie vrijgemaakt in vergelijking met standaard HBM4E.

NVIDIA stelt een standaard voor NVHBM beschikbaar, dat door verschillende geheugleveranciers wordt aangeboden. Dit vermindert de noodzakelijke engineering-inspanningen voor de integratie en kwalificatie van geheugen door meerdere leveranciers heen, wat NVLink Fusion-klanten een snellere route biedt voor het op de markt brengen van aangepaste AI-chips. Amazon’s Annapurna Labs is de eerste partij die aan NVHBM zal werken in het kader van de samenwerking met NVIDIA rondom NVLink Fusion.

De samenwerking met Amazon’s Annapurna Labs omvat het verbeteren van de prestaties en efficiëntie voor AI-werkbelastingen. Dit bouwt voort op de eerder aangekondigde steun van AWS voor NVLink Fusion. Annapurna Labs zal NVLink Fusion ondersteunen met zijn volgende generatie Trainium-chips, waardoor Amazon-chips en NVIDIA-GPU's samen kunnen werken binnen een gemeenschappelijke rack-architectuur. Met de NVLink Fusion kunnen partners aangepaste XPUs en CPU's verbinden met NVIDIA's rack-schaal platform, wat een snellere en minder risicovolle implementatie van semi-aangepaste AI-infrastructuur mogelijk maakt.

Lees het volledige artikel van Nvidia.