Waarom een hoge benchmarkscore geen bewijs is voor bedrijfskritische AI-inzet

Nee, een hoge benchmarkscore bewijst niet dat een model geschikt is voor een kritieke werkstroom, want benchmarks meten vaak iets anders dan hun label suggereert en rankings zijn taak- en conditieafhankelijk. Vul algemene scores daarom aan met taakgerichte, reproduceerbare en domeinspecifieke tests.

De aanleiding is een studie die op 8 september 2026 op arXiv verscheen onder de titel What AI Benchmarks Actually Measure. De auteurs onderzochten 56 capability- en safetybenchmarks voor 53 modellen en pasten daarop de klassieke meetkundige criteria convergente en discriminante validiteit toe. De kern van hun bevinding: benchmarks die claimen hetzelfde veiligheidsconcept te meten, correleren vaak zwak onderling, terwijl sommige benchmarks juist sterker samenhangen met tests die iets anders zeggen te meten.

Voor wie modellen selecteert voor gevoelig of hoog-trust werk heeft dat een directe consequentie. Een label op een benchmark is geen garantie dat de test daadwerkelijk de eigenschap meet die u nodig hebt. Naar onze inschatting betekent dit dat een modelkeuze op basis van één algemene score onvoldoende onderbouwd is voor werk waar de faalkosten hoog zijn.

Wat toont de studie van 8 september 2026 over wat benchmarks werkelijk meten?

De methode uit de studie is bekend uit de psychometrie. Convergente validiteit betekent dat tests die hetzelfde construct meten sterk met elkaar moeten samenhangen; discriminante validiteit betekent dat tests die verschillende constructen meten juist zwak moeten samenhangen. Wanneer een veiligheidsbenchmark nauwelijks correleert met een andere veiligheidsbenchmark, maar wel sterk met een capaciteitstest, is het benchmarklabel naar onze inschatting geen betrouwbare aanwijzing voor de gemeten eigenschap.

De praktische lezing hiervan is dat de naam van een benchmark en de eigenschap die u wilt beoordelen twee verschillende dingen zijn. U kunt niet aannemen dat een test met het woord "safety" in de titel de veiligheid meet die relevant is voor uw taak. Dat maakt het los interpreteren van een enkele score risicovol, zeker wanneer die score wordt gebruikt om modellen tegen elkaar af te wegen.

Waarom schieten algemene LLM-ranglijsten tekort voor risicovolle taken?

Een tweede arXiv-studie van 19 september 2026, Limitations of General LLM Rankings, benoemt vijf structurele problemen met algemene ranglijsten. De auteurs pleiten expliciet voor taak- en contextspecifieke evaluatie in plaats van universele rankings.

• Onduidelijkheid over welk systeem precies is geëvalueerd, inclusief versie en configuratie.
• Beperkte onafhankelijke toegang om resultaten na te lopen of te reproduceren.
• Verzadigde of ongeldige tests die niet langer onderscheidend zijn.
• Mogelijke exploitatie van de evaluatie zelf, waardoor scores stijgen zonder echte capaciteitswinst.
• Een mismatch tussen een algemene ranking en de specifieke taak waarvoor een organisatie het model wil inzetten.

Deze twee studies wijzen dezelfde kant op vanuit verschillende hoeken: de eerste laat zien dat het meetinstrument onbetrouwbaar gelabeld kan zijn, de tweede dat de rangschikking op basis van zulke instrumenten taak- en conditieafhankelijk is. Voor wie werkt met vertrouwelijke informatie is dat naar onze inschatting reden om leaderboardposities te behandelen als een startpunt, niet als bewijs. Dit sluit aan bij het bredere thema in onze themahub over AI-governance en verantwoorde inzet, en bij eerdere analyses over het onderscheiden van vendor-benchmarks van governance-bewijs.

Hoe zien domeinspecifieke en bewijsgerichte evaluaties er in de praktijk uit?

Twee bronnen laten zien hoe gerichtere evaluatie eruitziet. CyberSecEval 3 beschrijft een domeinspecifieke benchmarkset voor het evalueren van cybersecurityrisico’s en -capaciteiten in grote taalmodellen. De waarde van zulke benchmarksets zit in het afzonderlijk testen van een risicovolle capaciteit onder gespecificeerde condities, in plaats van via één samengestelde score.

Voor agentische systemen introduceert TruthInsightBench een andere invalshoek. Deze benchmark bevat 40 blinde taken afkomstig uit 40 peer-reviewed studies in tien wetenschappelijke domeinen en beoordeelt bewijsvolwassenheid via 29 artifact-grounded items. De opzet is bedoeld voor herhaalbare, automatische evaluatie. Het punt hier is dat niet alleen de uitkomst telt, maar ook de kwaliteit en onderbouwing van het bewijs dat het systeem levert. Voor werkstromen waarin de herkomst van een conclusie ertoe doet, is dat naar onze inschatting een relevanter signaal dan een enkel eindresultaat.

Welk evaluatieprotocol kan ik opzetten voor een kritieke werkstroom?

Op basis van deze bronnen is het volgende protocol naar onze inschatting een werkbare invulling. Het vertaalt de bevindingen naar concrete stappen; het is redactionele analyse, geen citaat uit de studies.

1. Definieer eerst de kritieke taak en de faalkosten. Beschrijf wat er misgaat bij een fout en wie daarvan de gevolgen draagt.
2. Kies benchmarks waarvan aantoonbaar is dat ze hetzelfde construct meten als de eigenschap die u nodig hebt, en controleer of ze onderling samenhangen zoals verwacht.
3. Test onder de feitelijke context en toegangsvoorwaarden van uw werkstroom, niet onder ideale of publieke leaderboardcondities.
4. Bewaar de modelversie en de volledige evaluatieconfiguratie, zodat de test reproduceerbaar blijft. Dit is extra van belang omdat het gedrag van AI-modellen in de tijd verandert.
5. Stel vooraf drempels vast voor menselijke escalatie of niet-inzet, en leg vast wie het eindoordeel neemt.

Let daarbij op de grenzen van zelfbeoordeling: laat een model niet zijn eigen geschiktheid vaststellen, want één model controleert zijn eigen antwoorden niet betrouwbaar. De kern blijft dat validiteit, taakrelevantie en reproduceerbaarheid afzonderlijk moeten worden aangetoond. Een algemene score kan een eerste indruk geven, maar het bewijs voor bedrijfskritische inzet ontstaat naar onze inschatting pas uit een test die de eigen taak, context en risico's weerspiegelt.

Bronnen: Het artikel steunt op twee arXiv-studies over benchmarkvaliditeit en LLM-ranglijsten, op CyberSecEval 3 en op TruthInsightBench, alle als bron genoemd in de tekst.