Kritiek op AI-veiligheid na vertrek Anthropic-onderzoeker

Een recent vertrek van een onderzoeker bij Anthropic heeft de discussie over de veiligheid van krachtige AI-systemen, zoals Claude en ChatGPT, aangewakkerd. De vertrokken medewerker heeft zich hard uitgesproken tegen de manier waarop zowel Anthropic als OpenAI omgaan met de uitrol van hun modellen. Hij noemt de snelheid van releases onverantwoord, wat de kwesties van toezicht en veiligheidsnormen extra urgent maakt, vooral in het licht van de aanstaande Europese AI-verordening (AI Act).

De onderzoeker, die zich richtte op veiligheidstests voor generatieve modellen, benadrukt dat de druk om snel nieuwe functies te introduceren, leidt tot onvoldoende evaluatie van potentiële risico's. De gelaagdheid van deze kritieken wordt versterkt door de complexiteit van de AI-modellen, die moeilijk te voorspellen effecten hebben, met het risico op misbruik zoals geavanceerde phishing en code-exploits. De zorgen worden nog groter door het tekort aan onafhankelijk toezicht bij de besluitvorming rondom nieuwe releases.

Met de Europese AI-verordening worden aanbieders van algemene AI-systemen geconfronteerd met striktere eisen op het gebied van risicobeheer, documentatie en transparantie. Bedrijven moeten in staat zijn om risico's vooraf te beperken in plaats van enkel achteraf te reageren. De regels, die gefaseerd worden ingevoerd vanaf 2025 en 2026, hebben aanzienlijke implicaties voor zowel overheden als bedrijven in Nederland. Dit vormt een oproep tot actie voor organisaties die generatieve AI inzetten, met name in hoogrisico-processen, waarbij extra controles van toepassing zijn.

De kritiek van de vertrokken onderzoeker onderstreept de noodzaak voor grotere transparantie in de AI-sector. Het gebrek aan publiek beschikbare evaluaties en de interne aard van veel veiligheidsinformatie bemoeilijken externe controle en creëren risico's voor "veiligheids-washing". Bedrijven en toezichthouders moeten nu samen werk maken van verbeterde transparantie en toezicht, om de reputatie van de sector te beschermen en daadwerkelijk aan te tonen dat veiligheid voorop staat in de ontwikkeling van AI-systemen.

Lees het volledige artikel van AI Insider.