Fontys waarschuwt: AI-fout leidde bijna tot dodelijk ongeval

Een recent incident in Nederland heeft de aandacht gevestigd op de risico's van fouten bij kunstmatige intelligentie (AI) in alledaagse apps, waarbij een foutief advies van een AI-systeem bijna fataal was voor een gebruiker. Dit voorval benadrukt de noodzaak van veiligheid en verantwoordelijkheid in de omgang met AI, vooral voor grote aanbieders zoals OpenAI, Google en Apple. Als gevolg hiervan is er een groeiende discussie over hoe dergelijke technologieën veilig kunnen worden ingezet in de maatschappij, in overeenstemming met de Europese AI-verordening.

Het incident legt bloot dat het vertrouwen in AI-systemen gevaarlijk kan zijn, vooral wanneer ze geen situatiebewustzijn hebben. De AI leverde antwoorden met een hoge mate van zekerheid, terwijl belangrijke context ontbrak. Dit illustreert de kwetsbaarheid van consumentensoftware die ontworpen is om snel en overtuigend te antwoorden, waarbij fouten zoals hallucinaties - ogenschijnlijk plausibele maar feitelijk onjuiste resultaten - ernstige gevolgen kunnen hebben.

De Europese AI-verordening stelt eisen voor transparantie en risicobeheer voor systemen die een veiligheidsrisico vormen. Voor AI-systemen die directe gevolgen kunnen hebben voor de gezondheid en veiligheid van gebruikers zijn extra maatregelen nodig, zoals expliciete risicobeoordelingen en meldingsprocedures voor incidenten. Dit heeft gevolgen voor verschillende sectoren, waaronder zorg, onderwijs en mobiliteit, waar AI steeds vaker ingezet wordt.

Om de veiligheid en betrouwbaarheid van AI-systemen te waarborgen, moeten ontwerpers en aanbieders zich niet alleen richten op prestaties, maar ook op preventieve maatregelen. Dit omvat het implementeren van risicobeoordelingen, het bieden van duidelijke gebruiksrichtlijnen en het opzetten van effectieve communicatiekanalen voor gebruikers. Voor burgers betekent dit dat ze hun AI-adviezen met een kritische blik moeten benaderen en altijd blijven nadenken over de potentiële risico's.

Lees het volledige artikel van AI Insider.