Skild AI en NVIDIA: robots leren taken via video

In een dynamische omgeving zoals fabrieken en magazijnen is het cruciaal dat robots zich snel kunnen aanpassen aan veranderende taken en processen. Skild AI introduceert de S1 robot foundation model, dat in staat is om nieuwe en onbekende taken te leren door simpelweg een enkele video demonstratie te bekijken. Deze innovatieve aanpak, bekend als in-context learning, vermindert de noodzaak voor uitgebreide herprogrammering en training.

Het ontwikkelen van S1 vond plaats op de AI-infrastructuur van NVIDIA, wat onderdeel is van een bredere samenwerking gericht op het verplaatsen van robots met flexibele intelligentie van de labomgeving naar de praktijk. De CEO van Skild AI, Deepak Pathak, benadrukt dat leren door ervaring een significante verschuiving vertegenwoordigt in de robotica, waarbij NVIDIA's Isaac Lab en Cosmos technologieën cruciaal zijn voor het creëren van de nodige diverse ervaringen voor robots.

De S1 kan onbekende taken uitvoeren die tot 10 minuten duren, zoals plant potten en het bereiden van pannenkoeken. Een opmerkelijke test toonde aan dat de S1 in staat was om een plant potten te demonstreren en vervolgens autonomiteit te verkrijgen in slechts 11 minuten. Dit blijkt een aanzienlijke verbetering te zijn ten opzichte van vergelijkbare AI-systemen die slechts een succespercentage van 9% behaalden bij nieuwe, complexe taken.

Door deze directe leerbenadering kunnen operators nieuwe taken demonstreren zonder dat er een nieuwe dataset of trainingssessie nodig is voor elke wijziging. Dit verhoogt niet alleen de efficiëntie, maar versnelt ook toekomstige implementaties, zoals blijkt uit de samenwerking met Foxconn voor de assemblage van NVIDIA-systemen. Skild AI's S1 is uitgerust met technologieën van NVIDIA die training en validatie optimaliseren, waaronder simulaties en reinforcement learning, waardoor een robuuste robot intelligentie kan worden gerealiseerd.

Lees het volledige artikel van Nvidia.