Waarom publieke AI-standaarden missiekritische systemen niet beslisklaar maken

Nee. Publieke AI-standaarden zoals het NIST AI RMF en ISO/IEC 42001 beschrijven welke governancefuncties nodig zijn, maar bepalen geen foutdrempel, testset of bewijsstandaard voor een concrete taak. Recente benchmarks laten zien dat een systeem pas beslisklaar is na domeinspecifieke stresstests op fouttypen, herhaalbaarheid en de volledige operationele keten.

In 2026 publiceerden onderzoekers in de proceedings van IJCAI een methode genaamd STRESSEVAL, een failure-driven dynamische benchmark. STRESSEVAL, een failure-driven dynamische benchmark. Die bouwt nieuwe, gecontroleerde testgevallen op uit concrete missers van een taalmodel: de mislukte redeneerstap en de vermoedelijke oorzaak worden vastgelegd op een zogeheten difficulty card, waarna nieuwe testvragen worden gegenereerd en gefilterd op juistheid en ondubbelzinnigheid. De auteurs rapporteren dat de daaruit voortkomende dynamische test grotere prestatieverliezen blootlegt dan de oorspronkelijke, statische benchmark.

Dat is relevant omdat statische publieke testsets verouderen door contaminatie en overfitting: modellen presteren goed op bekende vragen zonder dat dit betekent dat ze een nieuwe, afwijkende casus aankunnen. Voor wie een AI-systeem moet goedkeuren voor een klinische, financiële, wetenschappelijke of cyberveiligheidstaak, raakt dit de kern van het goedkeuringsbesluit.

Wat tonen de nieuwe benchmarks over het tekort van publieke AI-standaarden aan?

Ze tonen aan dat een goede gemiddelde score weinig zegt over de feitelijke betrouwbaarheid in een specifiek domein. Drie recente academische studies bevestigen dat vanuit verschillende hoeken, en versterken elkaar.

• Een studie over trustworthy AI in high-stakes settings stelt vast dat raamwerken zoals het NIST AI RMF en ISO/IEC 42001 wel governanceprincipes bieden, maar geen kwantitatieve procedure om te bepalen of een systeem in een concrete context beslisklaar is. De auteurs noemen hun eigen voorgestelde drempels uitdrukkelijk voorlopig en niet gekalibreerd tegen gecertificeerde domeinexperts.
• In een benchmark voor inertial-confinement fusion waarschuwen onderzoekers dat frontiermodellen ondanks hoge aggregate scores kritieke fouten in numerieke berekeningen blijven maken. Benchmarkwinst bewijst op zichzelf geen wetenschappelijke betrouwbaarheid.
• In FrontierPhysics, dat AI-agenten de volledige onderzoeksketen laat doorlopen, passeerde over tweeëntwintig modellen en zesentwintig configuraties geen enkele configuratie meer dan zesenveertig van honderdachtenzestig rollouts; de beste behaalde een slagingspercentage van 27,4 procent.

De gemene deler: capaciteit op losse vraag-antwoordtests voorspelt de prestatie op de hele taak niet.

Waarom volstaat één samengestelde score of generieke conformiteitsclaim niet?

Omdat een enkele score de feitelijke gevolgen van een fout verbergt. Een systeem dat gemiddeld hoog scoort kan juist falen op het ene fouttype dat in jouw domein onomkeerbare schade veroorzaakt. Een conformiteitsclaim op basis van een publiek raamwerk zegt dat het governanceproces is ingericht, niet dat het systeem jouw specifieke fouten niet maakt.

Naar onze inschatting verschuift het zwaartepunt van governance hierdoor van een eenmalige conformiteitsclaim naar een doorlopend systeem van domeinspecifieke stresstests. Dat is een redactionele duiding die de bronnen niet letterlijk zo formuleren, maar die logisch uit hun gezamenlijke bevindingen volgt: als tests uit waargenomen missers verouderde statische sets verslaan, dan is een momentopname per definitie onvoldoende. Wie wil begrijpen waarom één getal te weinig is, vindt die redenering ook terug in onze analyse van waarom één betrouwbaarheidsscore tekortschiet.

Wat betekent dit voor bestuurders, juristen en CISO's die een AI-systeem goedkeuren?

Onze analyse: omdat een ISO- of NIST-conformiteitsverklaring geen foutdrempel voor jouw taak vastlegt, blijft het goedkeuringsrisico volledig bij de eigen organisatie liggen; daarom moet een bestuurder vóór ingebruikname per toepassing laten vastleggen welke foutkosten onaanvaardbaar zijn en bij welke drempel het systeem niet door mag. Omdat frontiermodellen volgens de ICF-studie kritieke rekenfouten blijven maken ondanks hoge scores, is een leverancierscijfer geen bewijs voor de jurist die de aansprakelijkheid moet inschatten; daarom hoort in het inkoopcontract een clausule die een eigen acceptatietest met afgeschermde, domeinrepresentatieve data als opleveringsvoorwaarde stelt. Omdat FrontierPhysics laat zien dat de end-to-end slagingskans ver onder de losse capaciteit ligt, moet een CISO de agent testen op de volledige keten inclusief tool- en datatoegang, niet alleen op antwoordnauwkeurigheid; daarom hoort elke goedkeuring een expliciet stop- of escalatiecriterium te bevatten met een menselijke fiatteur. En omdat STRESSEVAL aantoont dat tests uit echte missers grotere zwaktes blootleggen, moet elke gevonden fout worden omgezet in een versieerbare regressietest die na elke model- of promptwijziging opnieuw draait; daarom is een hertest na wijziging geen formaliteit maar de voorwaarde waaronder een eerdere goedkeuring geldig blijft.

Hoe richt je domeinspecifieke stresstests in die governancebesluiten sturen?

Door de test te ontwerpen rond de feitelijke gevolgen van fouten in jouw workflow, niet rond een algemeen leaderboard. De volgende opzet maakt governance beslisklaar en sluit aan bij de bevindingen van de vier studies.

1. Definieer per taak de toegestane aannames, de foutkosten, de menselijke beslisrol en de stopcriteria vóór je test.
2. Bouw testgevallen uit echte of synthetisch beschermde missers en gebruik deterministische controles waar dat kan, zoals numerieke of symbolische verificatie.
3. Meet niet alleen gemiddelde nauwkeurigheid, maar ook test-hertestbetrouwbaarheid, gedrag onder distributieverschuiving en onder gemanipuleerde of vergiftigde invoer.
4. Leg de volledigheid van de audittrail en de werking van de menselijke override vast als meetbare eis.
5. Zet elke gevonden fout om in een regressietest en voer die na elke wijziging opnieuw uit.

Het NIST AI RMF blijft hierbij een bruikbaar uitgangspunt; raadpleeg daarvoor de uitleg van het NIST AI Risk Management Framework en de bredere themahub over AI-governance en controleerbaarheid. De operationele invulling komt echter van de eigen test, zoals ook beschreven in het stuk over een AI-prestatieclaim toetsen met eigen afgeschermde data. Eén open vraag blijft staan: de studies laten nog niet zien hoe organisaties deze dynamische, uit fouten opgebouwde tests structureel integreren zonder dat de drempels afhankelijk blijven van niet-gekalibreerde expertbeoordelingen. Dat is het punt waarop governance en vakinhoud elkaar het hardst nodig hebben.

Bronnen: Het artikel steunt op de IJCAI-studie STRESSEVAL en op drie arXiv-studies over AI-readiness, inertial-confinement fusion en FrontierPhysics.