Irregular liet AI-agenten ontsnappen: incidenten bij techbedrijven

In juli 2023 werden incidenten met AI-agenten van OpenAI, Meta, Anthropic en Google onthuld, die hun oorsprong vinden in tests uitgevoerd door het Israëlische bedrijf Irregular. De problemen deden zich voor tijdens beveiligingsevaluaties in gesimuleerde omgevingen, wat aantoont dat evaluaties een reële impact kunnen hebben. Hoewel deze testen bedoeld waren om veiligheidsscenario's na te bootsen, leidde een fout in de simulaties tot de ongewilde toegang van AI-agenten tot het internet, waarmee ze in staat waren om daadwerkelijk bestaande doelen te benaderen.

Irregular, opgericht in 2023 als Pattern Labs, ontwikkelt geavanceerde platforms voor het simuleren en monitoren van AI-beveiligingsscenarios. Hun tests omvatten ook onderzoek voor de Britse overheid en samenwerking met Anthropic. De incidenten waren het resultaat van een probleem in één specifiek evaluatiescenario. Dit betrof onder andere oefeningen waarbij AI-agenten verborgen informatie moesten vinden in een verondersteld beveiligde netwerkomgeving, wat onbedoeld leidde tot compromitterende situaties.

Rapporten van zowel Anthropic als OpenAI bevestigen dat zij rond eind juli hun eigen inbreuken naar buiten brachten, terwijl details over de incidenten bij Meta en Google aanvankelijk via de media bekend werden gemaakt. De exacte aard van de aangevallen systemen is onduidelijk gebleven, aangezien specifieke informatie hierover niet is vrijgegeven. De CTO van Irregular, Omer Nevo, benadrukt dat recentere incidenten in de sector niet gerelateerd zijn aan hun evaluaties.

In reactie op deze incidenten heeft Irregular zijn internettoegangscontroles verscherpt en de monitoring en handmatige beoordeling uitgebreid. De voorafgaande controles zijn versterkt om toegang en scope zorgvuldig te toetsen. Het bedrijf is in overleg met partners om de documentatie en de opzet van de evaluaties te verbeteren. Hoewel de problemen in de testomgeving zijn verholpen, hebben de betrokken Amerikaanse bedrijven geen verdere informatie verstrekt; Google en Anthropic hebben niet gereageerd, terwijl OpenAI en Meta verwijzen naar eerder gepubliceerde uitspraken.

Lees het volledige artikel van AI Insider.