Blog

Eén AI-score zegt te weinig: waarom bias en outputvariatie herhaalde runs en onafhankelijke beoordelaars vereisen

Nieuwe studies tonen dat één AI-score bias en outputvariatie verbergt. Waarom verdedigbare evaluatie herhaalde runs, contextvergelijking en onafhankelijke

· Door

Houten werktafel met rijen bijna identieke, met de hand gemarkeerde testvellen, een whiteboard met turfkolommen, een vergrootglas en een apart bakje met gekleurde indexkaarten.
Eén AI-score verbergt bias en variatie; verdedigbare beoordeling vraagt herhaalde runs en onafhankelijke beoordelaars.Beeld: IamVera.ai — originele redactionele illustratie

Eén totaalscore, één benchmark of één modelrun verbergt bias en variatie. Verdedigbare evaluatie combineert vooraf vastgelegde, representatieve tests met herhaalde identieke runs, variantie- en fouttypeanalyses, context- en taalvergelijkingen en onafhankelijke beoordelaars waarvan de eigen vertekening apart wordt getest.

De directe aanleiding is een studie die in november 2026 als CIKM ’26-publicatie van de Association for Computing Machinery verscheen. Daarin tonen de auteurs empirisch aan dat zogenoemde LLM-as-a-Judge-systemen — taalmodellen die worden ingezet om de output van andere modellen te beoordelen — zich laten sturen door eerder getoonde scores. Zeven van de acht onderzochte modellen vertoonden een meetbaar ankereffect. In een categorische industriële taak blokkeerde voorafgaande score-informatie 48% van de foutcorrecties en veranderde zij 10,18% van de correcte oordelen in verkeerde labels. Met andere woorden: zelfs het instrument waarmee organisaties objectiviteit willen afdwingen, kan zelf systematisch de verkeerde kant op leunen.

Dat raakt iedereen die AI-output laat beoordelen voordat er een beslissing op volgt. Wie vertrouwt op één cijfer of één geautomatiseerde beoordelaar, meet mogelijk vooral de vertekening van zijn eigen meetopstelling. Dit artikel zet op een rij wat de recente studies vaststellen en welke meetlagen volgens onze inschatting onmisbaar zijn geworden. Meer achtergrond bij dit thema staat in onze themahub over AI-verificatie en controleerbare beoordeling.

Wat toont de CIKM 2026-studie over anchoring bias in LLM-as-a-Judge aan?

De studie toont aan dat een voorafgaand getoonde score het latere oordeel van een beoordelingsmodel systematisch verschuift. De auteurs van de CIKM 2026-studie over anchoring bias in LLM-as-a-Judge-systemen meten dit zowel bij numerieke beoordelingen als bij categorische ja/nee-beslissingen, en concluderen dat contextontwerp en validatie per taak en per domein noodzakelijk zijn.

Belangrijk is dat het effect twee richtingen heeft: het blokkeert correcties die een onbevooroordeelde beoordelaar wél zou maken, én het draait correcte oordelen om naar foute labels. Naar onze inschatting betekent dit dat de volgorde waarin een beoordelaar informatie ziet, een ontwerpkeuze is die vastgelegd en getest moet worden, niet een detail dat je aan toeval overlaat. Wie een beoordelaar eerst de score van een vorig model laat zien, meet niet langer het nieuwe model maar de nawerking van het vorige oordeel.

Waarom is één modelrun onvoldoende om outputvariatie te meten?

Omdat dezelfde vraag aan hetzelfde model bij herhaling uiteenlopende antwoorden kan geven, zegt één run niets over betrouwbaarheid. Onderzoekers van de University of Edinburgh ontwikkelden een Monte Carlo-protocol met honderd identieke runs voor data-sciencetaken. Zij rapporteren dat de instabiliteit vooral bij middelzware en moeilijke taken hoog was; voor enkele categorieën lag de genormaliseerde instabiliteit rond 0,99 tot 1,00, wat betekent dat de uitkomst nagenoeg willekeurig varieerde.

De kern van hun betoog is dat een enkelvoudige meting variatie en inconsistentie onzichtbaar maakt. Een gemiddelde nauwkeurigheid die er goed uitziet, kan een grote spreiding verbergen. Daarom is consistentie volgens de auteurs een afzonderlijke evaluatiedimensie naast het gemiddelde. In de praktijk vraagt dat om het rapporteren van spreiding, fouttypen, weigeringen, antwoordlengte en stijlverschillen — niet alleen van één score.

Hoe vertekenen benchmarkkeuze, taal en context de uitkomst van een AI-evaluatie?

Sterk, en op manieren die los staan van de kwaliteit van het model zelf. Een preprint voor ACM Foundations of Software Engineering onderzocht verborgen vertekening in Codeforces-gebaseerde Elo-evaluaties van taalmodellen en vond verschillen tot 394 Elo-punten door de volgorde van inzendingen, tot 1.122 punten door de keuze van wedstrijden en tot 349 punten tussen herhaalde runs op dezelfde wedstrijden. De auteurs adviseren standaardisering, meerdere runs en transparante rapportage van de evaluatie-instellingen.

Context en taal doen er eveneens zelfstandig toe. Onderzoekers presenteerden bij de Association for Computational Linguistics de Polar-benchmark voor politieke bias in taalmodellen, met 38 modellen over Amerikaanse en Zuid-Koreaanse politieke contexten en meerdere presentatietalen. Zij rapporteren dat gemeten bias systematisch verschilt naar context, categorie, modelgroep en taal. Een aanverwante studie naar genderstereotypering in door AI gegenereerde kinderverhalen vond systematische maar contextafhankelijke verschillen en liet zien dat lexicale metrics en menselijke beoordelingen niet volledig hetzelfde meten. De praktische les: een algemene biasuitkomst volstaat niet wanneer antwoorden per taal, doelgroep en onderwerp uiteenlopen.

Wat betekent dit voor bestuurders, juristen en CISO's die AI-output beoordelen?

Onze analyse: omdat een beoordelingsmodel aantoonbaar meeleunt met eerder getoonde scores, krijgt elke evaluatie waarin de beoordelaar vorige uitkomsten ziet een verborgen vertekening; daarom laat een CISO de beoordelingsvolgorde vastleggen en test hij de beoordelaar afzonderlijk op anker-, volgorde- en bronframingeffecten voordat die beoordelaar een inkoop- of risicobesluit mag ondersteunen. Omdat één run de spreiding verbergt, kan een model dat gemiddeld voldoet in individuele gevallen onbruikbaar zijn; daarom eist een bestuurder bij acceptatie herhaalde identieke runs met gerapporteerde spreiding en fouttypen, niet één demonstratie. Omdat benchmark- en contestkeuze de uitkomst met honderden punten kan verschuiven, is een leverancierscijfer zonder opgave van testselectie, volgorde en aantal runs juridisch weinig waard; daarom neemt een jurist in de overeenkomst een clausule op die de testset, het beoordelingskader, de samplinginstellingen en de uitsluitingsregels vooraf vastlegt en die eigen hertoetsing met afgeschermde data toestaat, zoals wij eerder beschreven bij het accepteren van een AI-prestatieclaim pas na eigen test. Omdat bias per taal en context verschilt, geeft één nationale of Engelstalige meting geen dekking voor andere doelgroepen; daarom laat een verantwoordelijke bij meertalig of gevoelig gebruik de tests stratificeren naar taal, context en onderwerp voordat het systeem live gaat.

Vertaald naar een werkbaar protocol betekent dit dat een verdedigbare evaluatie minstens de volgende lagen bevat:

  • Vooraf vastgelegde, representatieve tests met gematchte prompts waarin alleen de relevante variabele verandert, zodat een gevonden verschil ook werkelijk aan die variabele toe te schrijven is.
  • Herhaalde identieke runs met rapportage van spreiding, weigeringen, lengte, stijl en inconsistenties naast het gemiddelde.
  • Meerdere moeilijkheidsniveaus, talen en domeinen, omdat de uitkomst met de testselectie meebeweegt.
  • Een gescheiden toets van het beoordelaarsgedrag op anchoring, volgorde- en positie-effecten, bij voorkeur met deterministische of uitvoerbare verifiers en onafhankelijke menselijke steekproeven.
  • Vastlegging van modelversie, prompt, samplinginstellingen, context, testsetversie, beoordelingsrubric, seeds, aantal runs en uitsluitingsregels, met onzekerheidsintervallen en expliciete abstentie wanneer het bewijs tekortschiet.

Deze gelaagdheid sluit aan bij bredere werkwijzen die we eerder beschreven, zoals het verifiëren van complexe AI-antwoorden via deelclaims en het opzetten van een LLM-red-teaming-workflow met verdedigbare scoring. De gemeenschappelijke noemer is nuchter: een enkel cijfer is een beginpunt, geen bewijs.

Bronnen en referenties

  1. Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation IndependenceAssociation for Computing Machinery (CIKM 2026) · 2026-11-06
  2. One Run Is Not Enough: A Monte Carlo Protocol for Evaluating LLM Reliability on Data Science TasksUniversity of Edinburgh via arXiv · 2026-11-09
  3. When Elo Lies: Hidden Biases in Codeforces-Based Evaluation of Large Language ModelsACM Foundations of Software Engineering preprint via arXiv · 2026-02-05
  4. Polar: A Benchmark for Evaluating Political Bias in LLMsAssociation for Computational Linguistics via arXiv · 2026-06-01
  5. Once Upon a Bias: Gender Stereotyping in LLM-Generated Children's StoriesarXiv preprint · 2026-11-19

Bronnen: Het artikel steunt op studies van de Association for Computing Machinery (CIKM 2026), University of Edinburgh, een ACM FSE-preprint, de Association for Computational Linguistics en een arXiv-preprint over genderstereotypering.

← Alle artikelen in dit thema ← Alle artikelen