Waarom één betrouwbaarheidsscore tekortschiet voor AI-hallucinaties

Geautomatiseerde hallucinatiedetectie wordt bruikbaarder, maar niet als één universele betrouwbaarheidsscore waarop u blind mag vertrouwen. Recent onderzoek van de University of Helsinki en ACL-studies tonen dat volwassen systemen feitelijke juistheid, trouw aan bronnen en onzekerheid apart meten, per claim controleren en hun labels toetsen aan menselijke beoordelingen.

Op 6 oktober 2026 publiceerden onderzoekers van de University of Helsinki een empirische studie naar de manier waarop hallucinatiebenchmarks zelf worden gelabeld. Zij testten negenhonderd door mensen beoordeelde vraag-antwoordparen tegen zeven taalmodellen als beoordelaar, naast eenvoudige woordovereenkomst-maten en natuurlijke-taalinferentie. De kernbevinding: automatische labelstrategieën wijken substantieel af van menselijke oordelen zodra het doel feitelijke juistheid is, en prompts die op trouw aan een referentieantwoord zijn gericht, bestempelen correcte aanvullingen dan vaak ten onrechte als hallucinatie.

Dat is geen detail. Het betekent dat een systeem dat een antwoord "onbetrouwbaar" noemt, in werkelijkheid kan meten dat het antwoord afwijkt van een korte modeltekst — niet dat het feitelijk onjuist is. Voor wie beslist op basis van zulke labels, is dat verschil bepalend.

Wat stelde de University of Helsinki vast over automatische hallucinatiebenchmarks?

De studie van de University of Helsinki vond dat het gekozen beoordelingscriterium belangrijker was dan de precieze opbouw van de prompt. Benchmarks die brontrouw verwarren met feitelijke waarheid produceren systematische meetfouten. Prompts die expliciet onderscheid maken tussen afwezigheid van informatie en tegenspraak sloten beter aan bij menselijke labels.

Met andere woorden: de vraag "wat telt hier als hallucinatie?" moet vooraf en expliciet beantwoord zijn, anders meet de benchmark iets anders dan de gebruiker denkt.

Waarom moeten feitelijke juistheid, brontrouw en onzekerheid apart worden gemeten?

Omdat een antwoord feitelijk juist kan zijn zonder door de aangeleverde bron te worden ondersteund, en omgekeerd. Een systeem dat deze dimensies op één hoop gooit, geeft een score die niet te interpreteren is. De peer-reviewed ACL-lijn maakt dit onderscheid nu expliciet.

Onderzoek naar brontrouw en factualiteit bij samenvatting maakt het onderscheid tussen beide beoordelingsdimensies expliciet. Voor retrieval-gebaseerde AI betekent dit dat feitelijke juistheid en dekking door de opgehaalde context afzonderlijk moeten worden beoordeeld. Een volwassen detector rapporteert daarom minstens drie aparte signalen:

• Feitelijke juistheid: klopt de bewering tegen externe, betrouwbare kennis?
• Brontrouw: wordt de bewering daadwerkelijk gedekt door de aangeleverde bron?
• Onzekerheid: hoe zeker is het systeem, en is iets niet gevonden, niet gedekt of tegengesproken?

Naar onze inschatting is dit het breekpunt met de vorige generatie detectoren: één groene vink suggereert zekerheid die het onderliggende meetproces niet waarmaakt.

Waarom moet detectie per claim en op langeafstandsrelaties controleren in plaats van op één score?

Omdat één lang antwoord zowel juiste als onjuiste beweringen kan bevatten. Eén samenvattende score verbergt dan precies de fout die ertoe doet. De oplossing is het antwoord opdelen in afzonderlijke, verifieerbare claims en elke claim apart te toetsen.

Onderzoek naar fijnmazige factualiteit in lange teksten splitst antwoorden in losse beweringen en controleert die tegen externe bronnen. Daarnaast introduceert een benchmark en kennisgrafiek-aanpak voor lange teksten een methode die een antwoord omzet in een feitgericht netwerk van relaties, zodat ook meerstaps- en langeafstandsverbanden tussen verspreide feiten worden gecontroleerd — niet alleen of de tekst lokaal consistent klinkt. Een stappenlijst voor zo'n controle:

1. Bepaal vooraf of de taak feitelijke juistheid, brontrouw of beide meet.
2. Splits de output in afzonderlijke, verifieerbare beweringen.
3. Koppel elke bewering aan een bronpassage of externe bewijsbron.
4. Controleer relaties tussen feiten die ver uit elkaar in de tekst staan.
5. Rapporteer onzekerheid en onderscheid niet gevonden, niet gedekt en tegengesproken.
6. Toets de detectorlabels op een door mensen beoordeelde steekproef.

Dat AI-consensus geen onafhankelijke feitencontrole bewijst, geldt hier onverkort: consistentie is niet hetzelfde als waarheid.

Wat betekent dit voor bestuurders, juristen en CISO's die AI-output moeten kunnen vertrouwen?

Onze analyse: omdat automatische benchmarks volgens de University of Helsinki brontrouw kunnen verwarren met feitelijke juistheid, loopt elke beslisser die vaart op één leverancierscore het risico correcte aanvullingen af te wijzen en ongedekte beweringen door te laten; daarom moet u van uw leverancier eisen dat het betrouwbaarheidssignaal is uitgesplitst naar feitelijkheid, brontrouw en onzekerheid, en vastleggen welk criterium is gebruikt. Omdat één lang antwoord juiste én onjuiste claims bevat, verbergt een globale score precies de fout die een jurist of arts aansprakelijk maakt; daarom legt u in uw werkproces vast dat elke feitelijke bewering apart tegen een bron wordt gecontroleerd voordat zij in een besluit landt. Omdat de Helsinki-studie laat zien dat labels substantieel van menselijke oordelen afwijken, is een detector zonder menselijk gevalideerde beoordeling geen bewijs maar een aanname; daarom neemt u in contracten en inkoopvoorwaarden een auditset op die de detectorlabels periodiek tegen menselijke beoordelingen toetst. Omdat betere prestaties op één benchmark geen universele foutloosheid aantonen, is "onze AI haalt een hoge score" geen verantwoording; daarom bewaart u per uitkomst de model-, prompt-, bron- en detectorversie, zodat u achteraf kunt reconstrueren waarop een beslissing steunde. Dat laatste sluit aan op waarom een plausibele AI-uitleg nog geen bewijs is en op de bredere plicht tot verificatie op claimniveau in besluitvorming.

Naar onze inschatting ligt het echte gevolg bij de inrichting: wie detectie bouwt of inkoopt, moet modulair werken, met aparte checks voor feitelijkheid, brontrouw en onzekerheid die elk tegen menselijke oordelen zijn geijkt. Een detector die dit niet scheidt, geeft een getal dat niemand kan uitleggen — en dat is in een gereguleerde omgeving een risico, geen geruststelling.

Bronnen: Het artikel steunt op een empirische studie van de University of Helsinki (2026) en op peer-reviewed ACL-onderzoek naar brontrouw, claimgewijze factualiteit en hallucinatiedetectie in lange teksten.