NVIDIA en de lokale AI-gemeenschap versterken open source modellen

De open source ecosystemen maken het steeds gemakkelijker voor AI-enthousiastelingen en ontwikkelaars om krachtige agenten lokaal te bouwen, aanpassen en uitvoeren. In augustus viert NVIDIA de vooruitgang die partners en open source gemeenschappen boeken in lokale AI, evenals de modellen, toepassingen en tools die uit dit ecosysteem voortkomen. Dit omvat de laatste open modellen en software van NVIDIA, evenals ontwikkeltools, computationele versnellingen en educatieve middelen om de gebruikers een vliegende start te geven.

Een van de belangrijkste aankondigingen deze maand is de introductie van de Nemotron 3.5 Lightning, een aanpasbaar open 30B mixture-of-experts (MoE) model dat speciaal is ontworpen voor altijd actieve agenten. Deze nieuwere versie biedt tot vier keer snellere token generatie en een 30% kortere tijd tot voltooiing in vergelijking met vergelijkbare open modellen. De open gewichten van de Nemotron 3.5 Lightning stellen AI-enthousiastelingen in staat om de modelprestaties te verfijnen aan de hand van hun eigen voorbeelden, wat resulteert in gepersonaliseerde lokale AI-ervaringen.

Door samenwerkingen met vLLM, Ollama, llama.cpp en LM Studio kan NVIDIA de beste lokale implementatie-ervaring voor deze modellen bieden. Ontwikkelaars kunnen kiezen uit NVFP4 en GGUF modelformaten. De Nemotron 3.5 Lightning draait lokaal op diverse NVIDIA hardware, inclusief RTX PC's en DGX stations, en zal verder schalen naar datacenters en cloudomgevingen. Met de beschikbaarheid van NVIDIA Blackwell systemen via toonaangevende fabrikanten kunnen gebruikers een breed scala aan apparaten en formaten kiezen die aan hun behoeften voldoen.

Met de toenemende adoptie van generatieve AI zijn bedrijven op zoek naar manieren om stijgende kosten te beheren zonder in te boeten op toegang tot geavanceerde intelligentie. De NeMo Switchyard, een open source routeringsbibliotheek van NVIDIA, verbetert de workflow van agenten door automatisch elke stap naar het beste model te leiden op basis van nauwkeurigheid, snelheid en kosten. Dit systeem toonde aan dat het de kosten van benchmarkvermelding tot ongeveer een derde kon verlagen. NeMo Switchyard en de Nemotron 3.5 Lightning zijn toegankelijk via diverse platformen, waaronder GitHub en NVIDIA's eigen bouwplatform.

Lees het volledige artikel van Nvidia.