Nederlands tegen AI duurder dan Engels: een analyse

Bij het gebruik van AI-modellen blijkt dat het communiceren in het Nederlands aanzienlijk duurder is dan in het Engels. Onderzoek toont aan dat dezelfde 1.004 nieuwszinnen in het Nederlands tot 59 procent meer tokens kosten bij modellen zoals Llama van Meta, terwijl OpenAI's ChatGPT een stijging van 25 procent laat zien. Dit verschil vormt een extra kostenpost voor organisaties die AI in het Nederlands inzetten, en is het resultaat van een meting die door de Coalition for Language Equity in AI Research (CLEAR) werd aangestoken. De onderzoekers noemen dit fenomeen de 'tokenizer tax', een verborgen belasting voor niet-Engelstaligen.

De hogere kosten voor de Nederlandse taal zijn te verklaren door de manier waarop AI-modellen werken. Deze modellen verwerken tekst in de vorm van tokens, wat kunnen zijn: fragmenten van woorden, complete woorden of leestekens. De meeste AI-modellen zijn voornamelijk getraind met Engelse data, waardoor zij Engelse woorden vaak als één token kunnen herkennen. Nederlandse woorden, vooral langere samenstellingen, worden vaker in meerdere tokens verdeeld, waardoor de kosten oplopen. Dit is significant bij het gebruik van API's of abonnementsdiensten, waar de kosten per token direct van invloed zijn op het budget van bedrijven.

In een uitgebreide analyse zijn verschillende AI-modellen vergeleken op hun prestaties in het Nederlands. Hoewel er variatie is in de kosten per model, is het duidelijk dat de implementatie van AI in het Nederlands aanzienlijke uitdagingen met zich meebrengt. Onderdelen van de analyse tonen dat een bedrijf dat maandelijks €1.000 aan Engelse tekst laat verwerken via Claude, voor dezelfde Nederlandse tekst ongeveer €1.500 zou betalen. Dit benadrukt de noodzaak voor bedrijven om deze verborgen kosten in kaart te brengen wanneer zij AI-toepassingen implementeren.

Ondanks de hogere kosten zijn er manieren om deze aan te pakken. Zo kan het helpen om basisinstructies in het Engels op te stellen en het antwoord in het Nederlands te ontvangen. Tevens is het raadzaam kosten per taak te vergelijken in plaats van puur naar de prijs per token te kijken. Het kiezen van het meest competente model voor Nederlandse tekst en het verkorten van de aan te leveren input zijn ook praktische stappen die bedrijven kunnen helpen om kosten te beheersen. Voor de meeste gebruikers is het communicatieproces in het Nederlands vaak nog toereikend, maar bedrijfsmatige toepassingen vereisen een zorgvuldige afweging.

Lees het volledige artikel van AI Insider.