OpenAI's bevestiging over schadelijke softwareverspreiding

OpenAI heeft recentelijk bevestigd dat de antwoorden van ChatGPT en soortgelijke AI-systemen onbedoeld hebben bijgedragen aan de verspreiding van schadelijke softwarepakketten. Deze situatie deed zich wereldwijd voor, inclusief in Europa, waar gebruikers door middel van installatietips en codevoorbeelden werden geleid naar malafide software. Het bedrijf heeft naar eigen zeggen technische tegenmaatregelen getroffen en doet onderzoek naar deze kwestie, die ook gevolgen heeft voor de Nederlandse organisaties onder de Europese AI-verordening.

Volgens OpenAI zijn de AI-modellen soms verantwoordelijk voor het geven van adviezen die ontwikkelaars leiden naar besmette pakketten. Dit gebeurt vaak via commando's voor pakketinstallaties, zoals pip of npm. De AI-systemen zelf hosten geen software, maar doordat deze aanbevelingen gedaan worden, kunnen kwaadwillige pakketten onopgemerkt in projecten worden geïntegreerd. Het probleem vloeit voort uit een combinatie van modelhallucinaties, waarbij de AI niet-bestaande of gewijzigde pakketnamen genereert die door aanvallers worden benut.

OpenAI heeft naar eigen zeggen acties ondernomen om dit probleem te beperken, zoals het aanscherpen van detecties en filters om risicovolle installaties te ontmoedigen. Ook zijn waarschuwingen en instructies toegevoegd aan de installatie-instructies die door de modellen worden gegenereerd. Daarnaast wordt er samengewerkt met externe partners om het misbruik van de AI-systemen te beperken. Het bedrijf vraagt organisaties om extra voorzorgsmaatregelen te treffen, vooral nu de Europese AI-verordening binnenkort in werking treedt, waarbij verantwoordelijkheden worden vastgelegd voor aanbieders van AI-systemen.

De Europese AI-verordening legt bedrijven verplichtingen op om systematische risico's te mitigeren en transparant te rapporteren over eventuele misbruikgevallen. Dit is cruciaal voor organisaties in sectoren die onder NIS2 vallen, aangezien daar strengere eisen gelden voor supply-chain-beveiliging. Ook onder de Cyber Resilience Act moeten bedrijven kunnen aantonen dat ze effectief omgaan met kwetsbaarheden en risico’s. Organisaties wordt aangeraden om AI-uitvoer als suggestief te beschouwen, afhankelijkheden grondig te controleren en interne richtlijnen en controles in te bouwen om de veiligheid te waarborgen.

Lees het volledige artikel van AI Insider.