Werking en betrouwbaarheid van AI-detectors

AI-detectors, ook wel bekend als ChatGPT checkers, zijn tools die een score geven die aangeeft hoe waarschijnlijk het is dat een tekst door een AI is geschreven. Deze detectors analyseren teksten op basis van voorspelbaarheid en patronen die kenmerkend zijn voor taalmodellen. Ze letten bijvoorbeeld op de gelijkmatigheid van zinnen en de voorspelbare keuze van woorden, maar de scores die ze toekennen zijn geen absolute bewijzen van AI-generatie.

De werking van een AI-detector is gebaseerd op concepten zoals perplexiteit en burstiness. Perplexiteit verwijst naar hoe voorspelbaar de tekst is; een lagere waarde geeft aan dat de tekst waarschijnlijker door AI is geproduceerd. Het begrip burstiness beschrijft de variatie in zinslengte en -structuur: menselijke schrijfstijlen zijn vaak gevarieerder dan die van AI. Belangrijk om te vermelden is dat deze detectors geen vergelijkingen maken met een databank zoals bij plagiaatcontrole, maar eerder een kanspercentage geven dat de tekst door AI is geschreven.

De betrouwbaarheid van AI-detectors laat echter te wensen over. OpenAI heeft in juli 2023 zijn eigen AI-detector stopgezet, omdat deze in slechts 26 procent van de gevallen correct was. Onderzoek door Stanford toonde aan dat maar liefst 61 procent van authentieke, door mensen geschreven essays verkeerdelijk als AI-gegenereerd werd herkend. Vooral teksten die eenvoudiger zijn of minder variatie in woordkeuze vertonen, lopen een groter risico om als AI-tekst gecategoriseerd te worden.

Wat betreft de performantie op Nederlandse teksten, is de situatie minder gunstig. De meeste AI-detectors zijn voornamelijk getraind op Engelse teksten. Tools zoals Scribbr bieden een AI-checker, maar de gratis versie is alleen beschikbaar voor Engelse teksten. Bij het evalueren van teksten met deze tools is de lengte belangrijk: korte teksten leveren vaak onbetrouwbare uitslagen op. Voor personen die geconfronteerd worden met een hoge AI-score voor originele teksten, wordt aangeraden om bewijs van het schrijfproces te bewaren, zoals aantekeningen en eerdere versies, en de scores niet als definitief bewijs te beschouwen.

Voor meer informatie over hoe AI-geschreven teksten herkend worden en de toepasbaarheid van deze tools, kan je de verschillende bronnen raadplegen.

Lees het volledige artikel van AI Insider.