Menselijk oordeel bij fraudesignalen volgens AP

De Autoriteit Persoonsgegevens (AP) heeft de nadruk gelegd op de noodzaak van menselijke beoordeling bij het verwerken van fraudesignalen, en niet op de inzet van AI-systemen. Dit standpunt komt voort uit zorgen over de risico’s op fouten, discriminatie en onrechtmatige besluiten die voortkomen uit een volledige automatisering van besluitvorming. De AP richt zich specifiek tot Nederlandse overheden en uitvoeringsinstanties die algoritmen toepassen binnen hun processen. Bovendien stellen ook de Europese AI-verordening en de Algemene Verordening Gegevensbescherming (AVG) duidelijke grenzen aan deze praktijken.

De AP benadrukt dat hoewel algoritmen kunnen helpen bij het identificeren van patronen, de uiteindelijke beslissing door een mens genomen moet worden. Het is essentieel dat medewerkers de context van signalen, zoals afwijkende transacties, kunnen beoordelen. Volledig geautomatiseerde beslissingen, zoals het zonder menselijke tussenkomst stopzetten van een uitkering, zijn in strijd met privacyregels en kunnen vergaande gevolgen voor burgers hebben. Menselijke tussenkomst, ervaring en deskundigheid zijn noodzakelijk om recht te doen aan de complexiteit van de situatie.

Organisaties zijn wel in staat om data-analyse te gebruiken om werk te prioriteren en extra vragen te stellen, maar risico scores mogen niet leiden tot automatische strafmaatregelen of afwijzingen. Automatisering kan in bepaalde gevallen worden toegestaan, mits de impact beperkt is en zorgvuldig wordt beoordeeld door medewerkers. De AP benadrukt de noodzaak om te voorkomen dat er automatiseringsbias optreedt, waarbij medewerkers blindelings op algoritmen vertrouwen. Transparantie en uitleg over hoe scores tot stand komen zijn cruciaal om onrecht te voorkomen.

De AVG legt strikte beperkingen op aan beslissingen die uitsluitend geautomatiseerd zijn, vooral wanneer deze van grote invloed zijn op individuen. Er moet altijd ruimte zijn voor menselijke beoordeling en correctie. De AP benadrukt ook de verplichting voor een Data Protection Impact Assessment (DPIA) bij het gebruik van fraudesystemen, alsmede strikte richtlijnen over het gebruik van gevoelige gegevens. De recente introductie van de Europese AI-verordening versterkt de focus op risicobeheersing en human oversight binnen fraudesystemen, wat ook van toepassing is op overheidsinstanties. Eerdere affaires benadrukken de noodzaak van transparantie en zorgvuldigheid, wat leidt tot verbeterde bescherming en publieke vertrouwen in het gebruik van technologie.

Lees het volledige artikel van AI Insider.