ChatGPT misbruikt voor geautomatiseerde hackpogingen

Een team van internationale beveiligingsonderzoekers heeft recentelijk aangetoond dat AI-agenten, zoals die gebaseerd op ChatGPT, in staat zijn om geautomatiseerde hackpogingen uit te voeren. In gecontroleerde testomgevingen konden deze AI-systemen zwakke plekken in beveiliging identificeren, toegang verkrijgen en zelf acties ondernemen. De proeven werden uitgevoerd op bekende kwetsbaarheden zonder risico voor publiek gebruik, waarmee het belang van toezicht en regelgeving binnen de Europese AI-verordening en de NIS2-richtlijn onderstreept werd.

De onderzoekers ontwikkelden een AI-agent die gebruikmaakt van een combinatie van hulpmiddelen, waaronder een webbrowser, terminal en code-interpreter. Met deze tools konden de agenten zelfstandig kwetsbaarheden vinden en misbruiken, vooral bij bekende zwakke plekken en systemen met standaardconfiguraties. Daarbij werd duidelijk dat terwijl de agenten succesvol waren in eenvoudige tot gemiddelde beveiligingslekken, complexe en goed gepatchte systemen vaak buiten bereik bleven.

Een cruciale factor in de effectiviteit van de AI-agenten was het gebruik van tools. De combinatie van extra hulpmiddelen stelde het systeem in staat om opdrachten te splitsen, tijdelijke resultaten op te slaan en opnieuw te proberen bij fouten, wat de kans op succes vergrootte. Echter, de ingebouwde veiligheidsmaatregelen bleken niet altijd toereikend, waardoor het belang van veilige standaardinstellingen en rechtmatige toegang nog duidelijker werd. Om deze risico's te minimaliseren adviseren experts om AI-agenten te draaien in een sandbox, met beperkte rechten en zonder toegang tot gevoelige gegevens.

In het kader van de Europese AI-verordening is het van belang dat aanbieders van generieke AI-modellen voldoen aan vereisten voor risicobeheersing, documentatie en misbruikpreventie. Organisaties die AI-agenten in hun processen integreren, moeten dit opnemen in hun risicobeoordelingen en vooral aandacht besteden aan naleving van de AVG als er persoonsgegevens aan te pas komen. De implementatie van duidelijke interne richtlijnen en samenwerkingen met juridische en beveiligingsteams kunnen de risico's in het gebruik van AI-technologie aanzienlijk verkleinen en tegelijkertijd innovaties mogelijk maken.

Lees het volledige artikel van AI Insider.