Wie AI bedrijfskritisch inzet, leunt op evaluaties: benchmarks, accuracy-scores en leaderboards moeten aantonen dat een model of agent klaar is voor de praktijk. Twee ontwikkelingen uit augustus 2026 laten zien dat die aanname wankeler is dan gedacht. GuardianAgentBench toont dat volwassen agentstacks in realistische bedrijfsomgevingen rond een betrouwbaarheidsplafond blijven, en een audit van OpenAI concludeert dat een toonaangevende codebenchmark voor een aanzienlijk deel gebroken is. Samen maken ze duidelijk dat niet alleen AI-systemen, maar ook de evaluaties zelf getoetst moeten worden.
Agents lopen tegen een betrouwbaarheidsplafond
Volgens agentry.news test GuardianAgentBench agentgedrag in 580 scenario's over zes domeinen, waaronder klantservice, financiële processen en data-toegang. De best presterende configuratie van populaire stacks zoals LangChain, LlamaIndex en Vectara haalde 74,8% overall accuracy. De resterende kwart bestond uit mislukte taken, verkeerde acties of gedegradeerd gedrag.
Dat is een nuchtere maar belangrijke uitkomst. In een labbenchmark klinkt een score van bijna 75% redelijk; in een bedrijfsproces waarin een agent klantgegevens raadpleegt of een financiële transactie voorbereidt, betekent het dat één op de vier acties problematisch kan zijn. Een abstracte accuracy-score zegt weinig zolang niet is vastgelegd welke restfout acceptabel is voor die specifieke workflow. GuardianAgentBench onderstreept dat organisaties drempelwaarden voor acceptabele fouten expliciet moeten formuleren en monitoren, in plaats van te vertrouwen op capability-scores die niet ontworpen zijn om betrouwbaarheid in de praktijk te meten.
De benchmark zelf blijkt niet neutraal
Het tweede signaal raakt de fundering onder die scores. Een OpenAI-audit, gerapporteerd door agentry.news, concludeert dat ongeveer 30% van de 731 taken in SWE-Bench Pro — een veelgebruikte benchmark voor code-agents — 'broken' is: taken die niet langer een valide test van het gewenste gedrag vormen. OpenAI trekt daarbij expliciet zijn eerdere aanbeveling in om SWE-Bench Pro als leidende evaluatie te gebruiken.
Gebroken taken zijn verraderlijk omdat ze de illusie van betrouwbaarheid creëren. Een model kan hoog scoren op een benchmark die deels niet meer meet wat hij pretendeert te meten, en die score kan vervolgens een bedrijfskritische beslissing legitimeren. De les is dat benchmarkkwaliteit een expliciet onderdeel van AI-governance moet worden: welke benchmarks gebruiken we, welke taken zijn geverifieerd, en wanneer is een evaluatie aan een audit toe?
Een deel van het antwoord ligt in nieuwe, betrouwbaarheidsgerichte kaders. De EDA Benchmark van deepsense.ai draait tien data-analysetaken vijf keer per model en berekent naast de gemiddelde score ook een reliability-adjusted score, waarin de coefficient of variation over herhalingen wordt meegewogen. Zo wordt herhaalbaarheid — cruciaal voor bedrijfskritische data-analyse — een expliciete metriek. Modellen met vergelijkbare gemiddelde scores kunnen wezenlijk verschillen in stabiliteit over tijd, en juist die spreiding is voor productiegebruik relevant.
Sectorspecifieke robuustheid en veiligheidsniveaus
Naast herhaalbaarheid speelt robuustheid onder verstoringen. Het onderzoek MedFM-Robust introduceert een robuustheidsbenchmark voor medische foundation models, met 40 soorten perturbaties (waarvan 28 specifiek medisch) over acht imaging-modaliteiten. De resultaten tonen aanzienlijke verschillen: sommige medische modellen laten minder dan 20% performance-daling zien onder verstoringen, terwijl een algemeen model zoals Gemini-2.5-flash in bepaalde zero-shot VQA-scenario's een daling van 54% kent. Dat maakt tastbaar dat een algemene accuracy-score geen uitspraak doet over geschiktheid voor een hoog-consequente zorgcontext; daar zijn domeinspecifieke robuustheidstests voor nodig.
Tot slot verschuift evaluatie ook naar governance. Het International AI Safety Report 2026 definieert AI Safety Levels (ASL-1 t/m ASL-3) met bijbehorende deployment- en security-standaarden en concrete eisen aan risk identification, risk analysis, risk treatment en governance. Evaluatie van bedrijfskritische AI is daarmee niet alleen een technische meting, maar ook een risicoklassificatieproces waarin een systeem expliciet aan een veiligheidsniveau wordt gekoppeld.
Van één labscore naar een verifieerbare beoordelingsarchitectuur
De rode draad door deze bronnen is dat één accuracyscore of één generieke benchmark niet volstaat. Wie AI bedrijfskritisch inzet, heeft een beoordelingsarchitectuur nodig: per workflow een combinatie van taakrelevante stress-tests, herhaalbaarheids- en robuustheidsmetingen, expliciete restfout-drempels en een koppeling aan veiligheidsniveaus. Even belangrijk is transparantie over de beperkingen van de gebruikte benchmarks zelf.
Daar past een verificatielaag zoals IamVera.ai — nadrukkelijk geen chatbot en geen eigen taalmodel, maar een laag die controle ondersteunt. Vera kan een taak door geselecteerde onafhankelijke AI-modellen routeren en de verificatiestappen, correcties, onderlinge tegenspraak en bronnen zichtbaar maken voor inspectie. Dat garandeert geen correctheid en elimineert geen hallucinaties, maar het geeft meer zicht op hoe een uitkomst tot stand kwam. Voor gevoelige documenten kan de Semantic Privacy Shield waardes op EU-infrastructuur vervangen door synthetische, sessiegebonden equivalenten voordat er AI-verwerking plaatsvindt; de workflow is fail-closed, zodat bij een mislukte privacycontrole niets wordt doorgestuurd. In een auditspoor kan zo zichtbaar worden welke stappen zijn doorlopen — een praktische aanvulling op de vraag welke evaluaties daadwerkelijk in de bedrijfscontext gelden.
De ontwikkelingen van deze zomer zijn geen reden voor paniek, maar wel voor discipline. Benchmarks blijven onmisbaar, maar ze zijn hulpmiddelen met beperkingen, geen bewijs. Het professionele eindoordeel — of een AI-workflow betrouwbaar genoeg is voor een bepaalde taak — blijft bij de mensen die ermee werken.