Nee. Recent onderzoek uit 2026 toont dat één AI-model dat zijn eigen output controleert interpretatieverschillen mist, zijn zekerheid overschat en instabiel oordeelt; scheid daarom generatie en verificatie, kies verifiers uit andere modelfamilies en gebruik onenigheid als signaal voor menselijke beoordeling.
De concrete aanleiding is de studie “When Models Disagree: Rethinking LLM Evaluation for Public Comment Analysis”, in mei 2026 gepubliceerd op arXiv. De auteurs lieten vier grote taalmodellen 1.260 publieke commentaren op een USDA-consultatie categoriseren en vonden dat de modellen onderling sterker van elkaar verschilden dan hetzelfde model verschilde tussen prompts. Voor professionals die op AI-output leunen betekent dit dat de codering van één model een perspectief is, geen neutrale waarheid — en dat u die grens expliciet moet inbouwen in uw werkstroom.
Wat toont de USDA-studie over vier modellen die dezelfde commentaren verschillend coderen?
De onderzoekers gebruikten vier verschillende taalmodellen om dezelfde publieke commentaren thematisch in te delen. Volgens de studie was de inter-modeldivergentie — het verschil tussen modellen — groter dan de variatie binnen één model bij wisselende prompts. Klassieke accuraatheidsmaten op een kleine gelabelde set maakten die verschillen niet zichtbaar: de scores zagen er acceptabel uit, terwijl de modellen onderliggend een andere werkelijkheid beschreven.
De auteurs stellen daarom een interpretive audit pipeline voor waarin onenigheid tussen modellen dient als een label-vrij onzekerheidssignaal. Ambigue gevallen worden niet automatisch afgehandeld, maar doorgestuurd naar menselijke beoordeling. Naar onze inschatting is dat de kern van de les: als vier competente modellen dezelfde tekst verschillend lezen, kan één model dat als eigen scheidsrechter optreedt zijn eigen interpretatieve afwijking per definitie niet zien.
Waarom is de eigen confidence-score van een model geen bewijs van juistheid?
Een veelgehoorde aanname is dat een hoge zekerheidsscore van het model — “ik ben hier voor 0,92 zeker van” — als kwaliteitssignaal kan dienen. De ICML 2026-bijdrage “Rethinking LLM Confidence: From Calibration to Coherence” ondermijnt die aanname. De auteurs betogen dat gangbare calibratiematen schattingen toelaten die triviaal incoherent zijn en sterk afhangen van de evaluatieverdeling, zonder te garanderen dat de zelfgerapporteerde waarschijnlijkheden consistente overtuigingen weerspiegelen.
Daarnaast synthetiseert het overzicht “Self-Verification in LLMs” empirisch werk waaruit blijkt dat pipelines waarin één model zowel genereert als verifieert nauwelijks of zelfs negatieve kwaliteitswinst opleveren; het overzicht noemt fout-positieven bij zelfverificatie tot 84 procent. Verifiers uit andere modelfamilies — bijvoorbeeld modellen van OpenAI naast modellen van Anthropic — gaven volgens diezelfde bron veel grotere verbeteringen. De praktische conclusie is expliciet: vertrouw zelfverificatie met één model niet in high-stakes domeinen zonder externe validatie.
Het beeld wordt nog scherper wanneer een model alleen als beoordelaar wordt ingezet. De paper “Evaluator Instability in LLM Red-Teaming” laat zien dat evaluatoren die op één open-source-model zijn gebouwd meetinstabiliteit vertonen: hetzelfde red-teaming-scenario kan verschillend worden gescoord afhankelijk van de evaluatorcomponent, en die variatie neemt toe bij grensgevallen. Een enkele model-judge is dus zelf een bron van instabiliteit — een van de duidelijkste grenzen van zelfverificatie.
Waarom lost meer modellen het probleem niet vanzelf op?
De reflex om dan maar meerdere modellen te laten stemmen, biedt geen garantie. Apple's onderzoek “Nine Judges, Two Effective Votes” onderzocht een panel van negen frontier-modellen uit zeven families. Doordat de modellen op dezelfde items dezelfde fouten maakten, leverde dat panel effectief ongeveer twee onafhankelijke stemmen op; ongeveer driekwart van de nominale onafhankelijkheid ging verloren. De beste enkele beoordelaar evenaarde of overtrof volgens de studie vaak het volledige panel.
Naar onze inschatting is dit de belangrijkste nuance voor governance: het probleem zit niet in het aantal modellen, maar in het gebrek aan onafhankelijkheid. Naïef meerderheidsstemmen over sterk verwante modellen bevestigt gedeelde vertekeningen in plaats van ze te corrigeren. Wie serieus wil verifiëren, moet daarom sturen op echte diversiteit tussen modelfamilies en architecturen, niet op omvang. Dit werken we verder uit in ons stuk over multi-model verificatie inrichten met echte modeldiversiteit.
Hoe richt ik verificatie in waarbij generatie en controle gescheiden zijn?
De vijf bronnen wijzen samen naar een concreet, werkstroomgedreven kader. De volgende stappen vatten dat samen:
- Scheid generatie en verificatie expliciet. Laat het model dat een antwoord produceert niet ook het eindoordeel over dat antwoord vellen; gebruik een aparte verifier of extern mechanisme.
- Kies verifiers uit andere modelfamilies. Genuine diversiteit verlaagt de kans op gecorreleerde fouten, zoals de Apple-studie laat zien.
- Gebruik onenigheid als triagesignaal. Cases waar modellen uiteenlopen of sterk fluctueren, gaan naar menselijke beoordeling in plaats van naar een automatische beslissing.
- Behandel confidence en accuraatheid als één signaal tussen vele. Een zelfgerapporteerde zekerheidsscore is geen eindscore, aldus het ICML-werk.
- Log de meetinstabiliteit. Leg vast hoe vaak evaluatoren wisselen bij dezelfde input, zodat u weet waar uw controle wankel is.
Voor professionals in juridische, financiële, zorg- en overheidswerkstromen vertaalt dit zich in drie vragen per proces: welk model genereert en welk model of welke externe check verifieert; hoe meet en logt u onenigheid, evaluatorinstabiliteit en confidence; en hoe voorkomt u dat een panel van vergelijkbare modellen toch als één grote stem functioneert. Meer over het traceerbaar maken van foute uitkomsten leest u in ons artikel over waarom een fout AI-antwoord traceerbaar wordt per werkstroom, en de bredere context vindt u in de themahub over AI-verificatie en controleerbare werkstromen.
In deze context is een verificatielaag als Vera bedoeld om die keuzes zichtbaar te maken: Vera is geen chatbot en geen eigen taalmodel, maar kan een taak door geselecteerde onafhankelijke modellen routeren en de verificatiestappen, correcties, onenigheden en bronnen tonen voor inspectie. Dat ondersteunt controle en maakt beoordeling mogelijk, maar garandeert geen juistheid en elimineert geen hallucinaties. Het professionele eindoordeel blijft bij de gebruiker. Wie een controleerbare werkstroom bouwt voor gevoelige documenten, vindt aanvullende overwegingen in ons stuk over een verificatielaag bouwen voor juridische AI-onderzoekstools.
Bronnen en referenties
Bronnen: Het artikel steunt op de arXiv-studie over USDA-commentaren, ICML 2026-werk over LLM-confidence, een ACL-paper over evaluatorinstabiliteit, Apple's onderzoek naar LLM-panels en een Emergent Mind-overzicht over zelfverificatie.