Anthropic-medewerker waarschuwt: Claude kan risico voor mensheid vormen

Een medewerker van Anthropic, het Amerikaanse AI-bedrijf achter het Claude-model, heeft deze week publiekelijk gewaarschuwd voor een reëel risico dat kunstmatige intelligentie, zoals het Claude-systeem, de mensheid zou kunnen uitroeien. Deze uitspraken komen te midden van een groeiende discussie over de existentiële risico's van AI, die potentieel wereldwijde gevolgen kunnen hebben. Met de nieuwe AI-verordening in Europa ontstaan er strengere regels voor generatieve modellen, wat de aandacht vestigt op de noodzaak van een verantwoordelijke omgang met dit soort technologie.

De werknemer van Anthropic benadrukt dat geavanceerde algoritmen de capaciteit hebben om nieuwe strategieën te ontwikkelen en zichzelf te verbeteren, wat kan leiden tot onbedoelde of zelfs gevaarlijke situaties. Het kernpunt van de zorg is niet de waarschijnlijkheid van een dergelijk scenario, maar de mogelijke impact die dat zou kunnen hebben. Een geringe kans op catastrofale schade vereist namelijk toch strikte voorzorgsmaatregelen, die ook misbruik van deze technologieën omvatten, zoals cyberaanvallen. Dit probleem wordt verergerd naarmate AI-modellen makkelijker toegankelijk en goedkoper worden.

Anthropic werkt actief aan veiligheid door middel van methodieken zoals 'Constitutional AI', die gericht is op het minimaliseren van schadelijke uitkomsten. Het bedrijf heeft ook veiligheidsprotocollen en onafhankelijke audits geïmplementeerd om de risico's van hun modellen te evalueren. Toch signaleert het bedrijf dat er nog steeds hiaten zijn in de controle en uitlegbaarheid van deze technologieën. Dit is cruciaal, aangezien de kans op ongelukken wordt ingeschat tussen de 10 en 25 procent, volgens CEO Dario Amodei.

De EU's AI-verordening legt extra stappen op voor generatieve AI-systemen, zoals Claude, waarbij hoge eisen worden gesteld aan technische documentatie en veiligheidseisen. Fabrikanten dienen diepgaande evaluaties uit te voeren en robuuste red-teams in te schakelen om risico's beter te beheersen. Deze nieuwe regelgeving stelt ook eisen aan overheidsinstellingen die AI-toepassingen gebruiken, waardoor de verantwoordelijkheden rondom dataprotectie en kwaliteitsbeheer toenemen. Dit vraagt organisaties om niet alleen de technologie zorgvuldig te hanteren, maar ook om blijvend toezicht te houden na livegang.

Lees het volledige artikel van AI Insider.