Als een AI-model een antwoord geeft, klinkt het meestal even overtuigd — of het nu klopt of niet. Dat is precies het probleem dat een reeks studies uit 2026 blootlegt. Confidence scores, de zekerheidscijfers die modellen aan hun output koppelen, worden in de praktijk vaak behandeld als een soort waarheidsmeter. Recent onderzoek laat zien dat dat een gevaarlijke aanname is, zeker in domeinen waar fouten grote gevolgen hebben.
De directe aanleiding is het paper Demystifying Uncertainty in LLMs: Active Calibration between Model Concepts and Human Evaluations, gepubliceerd via ACL Anthology op 3 juli 2026. De auteurs tonen zowel theoretisch als empirisch aan dat de calibratiefout van grote taalmodellen in interactieve toepassingen een harde ondergrens heeft: zonder gerichte interactie blijft die fout niet-verdwijnend. Alleen door actieve calibratie — waarbij queries bewust worden geselecteerd op basis van hun calibratiefout via een Interactive Learning Strategy — kan de betrouwbaarheid van de zekerheidsinschatting worden gemeten en verbeterd. De boodschap: confidence is geen vaste eigenschap van een model, maar iets dat je actief moet meten en bijsturen.
Wat calibratie eigenlijk betekent
Calibratie klinkt technisch, maar het idee is eenvoudig. De praktijkgids LLM Calibration and Uncertainty Quantification in Production (Zylos, april 2026) formuleert het zo: een confidence van 80 procent zou in de praktijk moeten samenvallen met 80 procent empirische juistheid. Is dat niet het geval, dan is het model slecht gekalibreerd — het zegt zeker te zijn zonder dat die zekerheid ergens op slaat.
Om dat meetbaar te maken, gebruiken onderzoekers de Expected Calibration Error (ECE) als standaardmaat. De survey Uncertainty Quantification and Confidence Calibration in Large Language Models (arXiv, maart 2025) definieert calibratie als het sluiten van de kloof tussen gerapporteerde zekerheid en geobserveerde juistheid. Diezelfde survey onderscheidt meerdere dimensies van onzekerheid — in de invoer, de redenering, de parameters en de voorspelling — en maakt duidelijk dat onzekerheid geen enkel getal is, maar een meerlagig signaal dat expliciet ontworpen moet worden in een AI-systeem.
De Zylos-gids vat de kernprincipes bondig samen: instrument uncertainty, don't assume it. Calibratie hoort volgens de auteurs onderdeel te zijn van de hele trainings- en fine-tuningpipeline, niet iets dat je pas op het moment van gebruik als een schuifje aan de interface toevoegt.
Zelfgerapporteerde zekerheid is systematisch scheef
Een tweede probleem is dat de zekerheid die een model in woorden uitspreekt — de zogenoemde verbalized confidence — bijzonder onbetrouwbaar is. De studie Benchmarking Uncertainty Calibration in Large Language Model Scientific Question Answering (OpenReview, februari 2026) introduceert een grootschalige benchmark voor wetenschappelijke vraag-en-antwoordtaken en concludeert dat verbale confidence systematisch biased is en slecht correleert met correctheid. Wat wél goed werkt: de frequentie waarmee eenzelfde antwoord over meerdere samples terugkomt. Die frequentie levert de meest betrouwbare calibratie op. De auteurs benadrukken dat alleen goed gekalibreerde scores binnen het bereik [0,1] bruikbaar zijn als basis voor risicodrempels.
Dat theoretische inzicht krijgt een scherp praktijkgezicht in The State of AI Reliability (Dixon, juni 2026). Deze benchmark op controleerbare feiten introduceert de categorie confident errors: antwoorden met een bron en een zelfverzekerde toon die inhoudelijk gewoon fout zijn. In een reeks van negentig runs over financiële kernvragen bleek ongeveer 3 procent van de resultaten zo'n confident error te zijn. Bij moeilijker gemaakte vragen klonken de modellen even zelfverzekerd bij zwak onderbouwde antwoorden als bij goed onderbouwde — zonder enig signaal in de output dat het verschil markeerde.
Dat is de kern van het risico: niet dat AI fouten maakt, maar dat de zekerheid waarmee die fouten worden gepresenteerd niet te onderscheiden is van terechte zekerheid. Wie in een dashboard blind vertrouwt op de confidence-slider, mist precies het onderscheid dat ertoe doet.
Onzekerheid als verifieerbare architectuur
De samenhangende conclusie van deze bronnen is dat confidence niet als comfortsignaal maar als risicosignaal moet worden behandeld. De arXiv-survey wijst er expliciet op dat goed gekalibreerde confidence nodig is om voorspellingen met lage zekerheid naar menselijke verificatie te sturen en overmoed bij onjuiste antwoorden te beperken. Dat vraagt om een aantal concrete keuzes: meerdere onzekerheidsbronnen combineren (probabilistisch, semantisch, frequentie), drempels en handover-regels vastleggen, en calibratie-metingen vastleggen in auditlogs zodat achteraf controleerbaar is wanneer en waarom menselijk toezicht nodig was.
Voor wie met vertrouwelijke informatie werkt — advocaten, bedrijfsartsen, journalisten, compliance-teams — is dit meer dan een technische finesse. Het verschil tussen een goed onderbouwd en een confident-fout antwoord kan bepalend zijn voor een advies of een beslissing.
Wat dit betekent voor gecontroleerd AI-gebruik
Hier ligt de verbinding met een verificatieaanpak zoals die van I am Vera. Vera is geen taalmodel en geen chatbot, maar een verificatielaag: het laat verificatiestappen zichtbaar worden in plaats van te vertrouwen op wat een model over zichzelf zegt. Door AI-antwoorden via meerdere modellen te vergelijken, kan een multi-model verificatie helpen zichtbaar te maken waar modellen van elkaar afwijken — precies de plekken waar één enkele confidence score een vals gevoel van zekerheid zou kunnen geven.
De relevante bijdrage ligt niet in het toevoegen van nóg een zekerheidscijfer, maar in het orkestreren van controle: onzekerheid vergelijkbaar maken tussen bronnen, en auditbaar vastleggen wanneer een antwoord extra aandacht verdiende. Dat gebeurt binnen een werkwijze waarin de voorbewerking en anonimisering plaatsvinden op EU-infrastructuur en de Semantic Privacy Shield is ontworpen om alleen geanonimiseerde inhoud naar de geselecteerde modellen te sturen — mislukt die privacycontrole, dan wordt niets doorgestuurd.
Vera garandeert geen correctheid en elimineert geen fouten. Wat het wél kan, is meer zicht geven op waar zekerheid onterecht wordt gesuggereerd, zodat het professionele eindoordeel bij de gebruiker blijft. De studies van 2026 maken duidelijk dat dat oordeel niet aan een schuifje kan worden overgelaten.