Confidence scores van AI-modellen: waarom een hoog percentage geen bewijs van juistheid is

De confidence score die een AI-model zelf noemt, is beperkt betrouwbaar. Onderzoek op arXiv en OpenReview laat zien dat zulke verbaliseerde scores sterk gekwantiseerd zijn, vaak hoog blijven ook bij foute antwoorden, en meer worden bepaald door de formulering van de prompt dan door de vraag zelf. Een enkel getal uit één model is dus geen bewijs van juistheid.

Betrouwbaarder onzekerheidssignalen komen volgens MIT News uit onenigheid tussen meerdere modellen, en volgens klinisch onderzoek uit taakspecifieke ijking die per domein en vraagtype verschilt. Voor werk met vertrouwelijke of hoog-risico-informatie is de kernvraag daarom niet óf een model een getal kan tonen, maar welk signaal betrouwbaar genoeg is om op te handelen, onder welke voorwaarden, en met welke controlelaag eromheen.

Aanleiding voor dit stuk is een reeks recente publicaties. Op 19 augustus 2026 verscheen op arXiv de studie Improved Confidence Estimates for Black-Box Large Language Models, die betere onzekerheidsschattingen bouwt door onzekerheidsscores te combineren met kenmerken van vergelijkbare eerdere vragen. Daarmee sluit die studie aan op eerder werk dat de zwakke plekken van een simpel confidence-getal blootlegt.

Wat is er precies uit het onderzoek naar verbaliseerde confidence gekomen?

Met verbaliseerde confidence bedoelen onderzoekers dat je een model vraagt om zelf een zekerheidspercentage bij zijn antwoord te zetten. De arXiv-paper On Verbalized Confidence Scores for LLMs onderzoekt hoe die scores tot stand komen en waar ze falen. Twee bevindingen zijn relevant voor de praktijk:

• De scores zijn sterk gekwantiseerd: modellen grijpen terug op een handjevol vaste waarden in plaats van een fijnmazige inschatting.
• De formulering van de prompt beïnvloedt de score materieel; hetzelfde antwoord kan bij een andere vraagformulering een andere zekerheid krijgen.

De OpenReview-studie Always So Sure: Can LLM's Confidence be Trusted? komt tot een verwante conclusie: een confidence-getal is maar zwak verbonden met de onderliggende vraag en blijft vaak hoog, ook wanneer het antwoord fout is. Beide bronnen benadrukken dat een score niet alleen op aanwezigheid moet worden beoordeeld, maar op ijking, informativiteit en betekenis.

Onze redactionele inschatting: een zichtbaar percentage in een interface wekt vertrouwen dat het cijfer zelf niet altijd waarmaakt. Het is een interface-element, geen bewijsstuk.

Waarom is onenigheid tussen modellen een beter onzekerheidssignaal?

MIT News beschreef op 19 maart 2026 een methode om overmoedige taalmodellen beter te identificeren. De kern: onenigheid tussen verschillende modellen vangt epistemische onzekerheid beter dan het herhaald bevragen van één model. Een gecombineerde onzekerheidsmaat kan volgens die publicatie beter aanwijzen wanneer een antwoord met overtuiging fout is dan een enkelvoudige zelfrapportage.

Waarom werkt dat? Als één model consistent fout is, blijft het ook consistent zelfverzekerd. Wijken onafhankelijke modellen van elkaar af, dan is dat een signaal dat de vraag lastig of ambigu is. Wij hebben eerder beschreven wanneer onenigheid tussen modellen een bruikbaar signaal is en waar de grens daarvan ligt. Belangrijk daarbij: overeenstemming tussen modellen is geen garantie voor juistheid, alleen een aanwijzing.

Waarom verschilt betrouwbaarheid van confidence per domein en vraagtype?

Dat er geen universele confidence-methode bestaat, blijkt uit calibratie-onderzoek in de Transactions of the Association for Computational Linguistics: How Can We Know When Language Models Know?. Die studie laat zien dat de betrouwbaarheid van onzekerheidsschattingen afhangt van het domein en het vraagtype. Wat in het ene specialisme goed geijkt is, hoeft dat in een ander niet te zijn.

Voor beroepen met vertrouwelijke dossiers betekent dit dat je confidence niet één keer valideert en daarna blind vertrouwt. Per taaksoort — juridisch onderzoek, medische vragen, cijfermatige analyse — kan hetzelfde signaal een andere waarde hebben. Wie hier meer over wil, vindt in onze themahub over AI-verificatie aanverwante stukken, en in hoe teams hallucinatiedetectie gelaagd opbouwen een concrete uitwerking van dezelfde denklijn.

Hoe kies je in de praktijk welk confidence-signaal je vertrouwt?

Op basis van de genoemde bronnen ordenen wij confidence in drie lagen, van zwak naar sterker onderbouwd. Dit is onze redactionele ordening, niet een letterlijke indeling uit één bron:

1. Zelfgerapporteerd getal uit één model. Handig als indicatie, maar gevoelig voor promptvorm en vaak overmoedig. Niet als enige grond voor automatisering gebruiken.
2. Onenigheid tussen onafhankelijke modellen. Volgens MIT News informatiever voor het opsporen van confident-foute antwoorden.
3. Taakspecifieke onzekerheidsijking. Per domein en vraagtype gemeten, zoals het calibratie-onderzoek en de recente black-box-schatting op arXiv laten zien.

Een praktische checklist die hieruit volgt:

• Vraag niet alleen óf er een score is, maar welke methode hem produceerde.
• Test of dezelfde vraag met andere formulering een ander getal geeft.
• Laat lage overeenstemming of hoge onzekerheid een menselijke controle triggeren in plaats van automatische afhandeling.
• Behandel confidence per domein apart; hergebruik ijking niet klakkeloos.

Hier past een verificatielaag. Vera is geen chatbot en geen eigen taalmodel, maar een privacygerichte verificatielaag die een taak door geselecteerde onafhankelijke modellen kan sturen en verificatiestappen, correcties, onenigheid en bronnen zichtbaar maakt voor inspectie. Dat kan helpen zien welk confidence-signaal bij een antwoord hoort en wanneer een uitkomst beter naar menselijke controle gaat. Het geeft geen garantie op juistheid en elimineert geen hallucinaties; het professionele eindoordeel blijft bij de gebruiker.

De rode draad uit dit onderzoek: een confidence-getal is een startpunt, geen eindpunt. De vraag is niet of een model zelfverzekerd klinkt, maar welk signaal je genoeg vertrouwt om op te handelen.

Bronnen: Het artikel steunt op onderzoek van arXiv, OpenReview, MIT News en de Transactions of the Association for Computational Linguistics over de betrouwbaarheid van AI-confidence.

← Alle artikelen in dit thema ← Alle artikelen