30% van de respondenten meldde geen auditdekking van AI of was er niet zeker van of hun organisatie over zo'n dekking beschikte, volgens een onderzoek uit 2025 uitgevoerd door AUDIT Lab aan Canisius University in samenwerking met Cherry Hill Advisory, waaraan 3.089 interne-auditprofessionals in 66 landen deelnamen. Die kloof is van belang wanneer een organisatie vertrouwt op een AI-ondersteund antwoord, maar niet kan reconstrueren hoe iemand het controleerde. AI-auditing is een herhaalbaar onderzoek van het gedrag van een systeem, een specifieke output en de workflow waarmee mensen het gebruiken. Het doel is een verantwoordelijke beoordelaar voldoende bewijs te geven om te onderzoeken wat er gebeurde, het resultaat te betwisten en te beslissen of verdere actie gerechtvaardigd is. Een bruikbare audit scheidt feitelijke juistheid van trouw aan aangeleverde documenten en legt wijzigingen na ingebruikname vast.
Wat zou een AI-audit eigenlijk moeten aantonen?
Een AI-audit zou moeten vaststellen of het bewijs de beslissing van de organisatie ondersteunt om een output onder vermelde voorwaarden te gebruiken. Voor een bestuurslid, jurist of arts die met een zelfverzekerd antwoord wordt geconfronteerd, is de vraag niet of het model goed presteert. Het gaat erom of een ander persoon het onderzoek opnieuw kan openen en de reikwijdte, bevindingen en beperkingen ervan kan begrijpen.
AI-auditing betekent daarom een herhaalbaar onderzoek van het systeem, de specifieke output en de omliggende workflow, met een bewijsspoor dat beschikbaar is voor beoordeling.
- Modelgedrag — Vraag die het beantwoordt: Voldoet het systeem vóór en tijdens gebruik aan de vermelde betrouwbaarheidstests?; Te bewaren bewijs: Model en versie, testinputs, grondwaarheid, criteria, foutpercentages, onzekerheid; Wat een score kan missen: Laboratoriumdata die distributieverschuiving verbergt
- Claims op case-niveau — Vraag die het beantwoordt: Wordt dit antwoord feitelijk ondersteund en is het trouw aan het aangeleverde materiaal?; Te bewaren bewijs: Atomaire claims, bronnen, citatiecontroles, percentage ongefundeerde claims, onthoudingen; Wat een score kan missen: Eén gecombineerde hallucinatiescore
- Menselijk toezicht — Vraag die het beantwoordt: Wie kon ingrijpen, en was die daartoe bekwaam?; Te bewaren bewijs: Rol van beoordelaar, training, bevoegdheid, beslissing om te accepteren of te overrulen; Wat een score kan missen: Een beleid dat geen verantwoordelijke persoon noemt
- Toolbeveiliging — Vraag die het beantwoordt: Kan het systeem worden gestuurd naar een niet-goedgekeurde actie?; Te bewaren bewijs: Directe en indirecte injectietests, rechten, menselijke goedkeuring vóór bevoorrechte acties; Wat een score kan missen: Antwoordkwaliteit zonder controle van toolpoorten
- Wijziging en regressie — Vraag die het beantwoordt: Leidt een wijziging van model, prompt, bron of beleid ertoe dat bekende fouten opnieuw optreden?; Te bewaren bewijs: Regressiesuite, datum van heruitvoering, drempelwaarden, releasebeslissing; Wat een score kan missen: Een eenmalige demonstratie vóór release
Bewijs in plaats van zekerheid
De 2025 AI Index van Stanford University rapporteerde 233 incidenten in de AI Incident Database in 2024, waarbij het aantal gerapporteerde incidenten sinds 2013 meer dan vertwintigvoudigd is. Dit zijn gerapporteerde incidenten, geen volledige telling van storingen of misbruik, en geen waarschijnlijkheid dat een individueel systeem schade zal veroorzaken.
De contexten van de incidenten omvatten autonome voertuigen, gezichtsherkenning, generatieve AI en synthetische media. Hun relevantie hier is de breedte van omstandigheden die een auditor mogelijk moet onderzoeken, geen bewijs dat elke toepassing een gelijkwaardig risico met zich meebrengt.
Voor werk aan AI-zoekopdrachten bieden de AI search audit-artikelen van CitationOS een aanvullende leesbron. Zoekzichtbaarheid is echter een andere auditvraag dan of een antwoord een professionele beslissing ondersteunt.
Bewijsregel: Een gunstige score is een bevinding binnen een gedefinieerde test, geen toestemming om op elk daaropvolgend antwoord te vertrouwen.
Ons aanbevolen minimum is eenvoudig: beschrijf een laag niet als geaudit als de organisatie de bewaarde prompt, modelversie, criteria, bronnen en beoordelaarsoordeel niet kan overleggen. Zonder die records heeft een latere beoordelaar een zekerheidsverklaring in plaats van een inspecteerbaar onderzoek.
Welke records maken een AI-audit reproduceerbaar?
Een reproduceerbare audit bewaart de voorwaarden, inputs, criteria en bevindingen die nodig zijn om een onderzoek te herhalen en een eventueel afwijkend resultaat te verklaren. Reproduceerbaarheid betekent niet dat u identieke bewoordingen van elke uitvoering verwacht. Het betekent dat u voldoende context bewaart om een gewijzigd systeem te onderscheiden van een gewijzigde evaluatie.
Het vrijwillige NIST AI Risk Management Framework beveelt aan om vóór ingebruikname en regelmatig tijdens gebruik te testen, waarbij betrouwbaarheidskenmerken, maatschappelijke effecten en mens–AI-configuraties worden gemeten. Het roept ook op tot gedocumenteerde methoden, data, voorwaarden en uitkomsten, vergelijking met benchmarks en rapportage van onzekerheid.
De onderstaande volgorde van records maakt die verwachtingen concreet.
Heropen de case in de oorspronkelijke volgorde
Begin met model- en versie-identificatoren, gevolgd door de prompts, inputs en opgehaald materiaal. Bewaar de verwachte grondwaarheid waar die bestaat, vervolgens de criteria en bevindingen van de evaluator. Leg percentages voor fout-positieven en fout-negatieven vast waar dat zinvol is, latentie waar dat operationeel relevant is, vertrouwens- of onzekerheidsmaten, en de voorwaarden van de ingebruiknamecontext.
Scheid waargenomen bewijs van de interpretatie van de evaluator. Een beoordelaar zou moeten kunnen vaststellen of een antwoord mislukte omdat de bron veranderde, de toepassing ander materiaal ophaalde, of de evaluator een herziene regel toepaste. Praktische records voor reproduceerbare prompts en AI-antwoorden horen bij de case thuis, niet in een niet-gerelateerd ontwikkelingsnotitieboek.
Geoptimaliseerde laboratoriuminputs zijn voor dit doel niet voldoende. Neem dubbelzinnige verzoeken, onbekende documentformaten, vijandige inhoud en cases met gewijzigde gekoppelde bronnen op.
- Onderhoud representatieve en adversariële cases. Neem alledaags werk en bekende faalcondities op in een regressiesuite.
- Voer tests opnieuw uit na materiële wijzigingen. Dek wijzigingen aan het model, de prompt, het ophaalproces, het beleid en de bronverzameling.
- Houd releases tegen bij vooraf bepaalde drempels. Stel fout- en onzekerheidsgrenzen in met behulp van de hieronder gedefinieerde maatstaven op claimniveau, met een aangewezen persoon die gemachtigd is om uitzonderingen op te lossen.
Houd de juridische reikwijdte expliciet
EU-systemen met een hoog risico: De EU-richtsnoeren voor conformiteitsbeoordeling leggen uit dat aanbieders conformiteit aantonen voordat systemen in de handel worden gebracht of in gebruik worden gesteld, met gebruik van interne controles of een aangemelde instantie, afhankelijk van de toepasselijke categorie en beoordelingsroute. Het overzicht van de AI Act van de Europese Commissie identificeert controleerbare vereisten, waaronder risicobeoordeling, datakwaliteit, logging, technische documentatie en menselijk toezicht.
NIST is een vrijwillige referentie, geen systeem voor toepassingsclassificatie en geen vervanging voor jurisdictiespecifieke wetgeving. De praktische verandering is bewijsmatig: een bewering dat het model doorgaans werkt, wordt een registratie die iemand anders kan testen.
Hoe moeten auditors feiten scheiden van getrouwheid?
Auditors moeten feitelijke juistheid en getrouwheid aan het aangeleverde materiaal afzonderlijk beoordelen. Een getrouwe kopie van een gebrekkige brief vormt een ander probleem dan een kopie die een zin verzint. Het eerste vereist onderzoek van de bron; het tweede vereist onderzoek van de transformatie.
Denk aan een antwoord dat een verouderd beleid samenvat. Het kan het beleid nauwkeurig weergeven en toch de lezer een onjuist beeld geven van de huidige situatie. Omgekeerd kan een antwoord een ware stelling bevatten die het aangeleverde bestand niet ondersteunt. Die uitkomsten vergen verschillende correcties, ook al zou een evaluator beide als hallucinatieproblemen bestempelen.
Het onderscheid is nuttig voordat enige scoring begint.
Verifieer claims voordat u scores combineert
Een verdedigbare evaluatie begint met het ontleden van het antwoord in atomaire claims, die elk afzonderlijk onderzocht kunnen worden. Classificeer elke claim als een feitelijke bewering, interpretatie, aanbeveling of uiting van onzekerheid. Controleer vervolgens feitelijke beweringen aan de hand van een gezaghebbende referentie of actuele bron, en vraag afzonderlijk of de aangeleverde context de formulering impliceert.
Definieer wat elke evaluator beoordeelt voordat u geautomatiseerde labels accepteert. Een label voor niet-ondersteunde formulering mag geen label worden voor feitelijke onwaarheid. Waar het gezaghebbende standpunt omstreden blijft, behoud dan dat geschil in plaats van een definitieve classificatie af te dwingen.
De bespreking door Documind van gefundeerde prompts en geciteerde antwoorden biedt verwante leesstof over brongefundeerde vraagbeantwoording. Voor auditdoeleinden is de aanwezigheid van een citatie een startpunt voor inspectie, geen vervanging ervan.
- Precisie op claimniveau — Wat het laat zien: Aandeel van atomaire claims dat door de referentie wordt ondersteund; Wat het niet kan laten zien: Of de referentie zelf juist is
- Percentage niet-ondersteunde claims — Wat het laat zien: Claims die niet door de aangeleverde context worden geïmpliceerd; Wat het niet kan laten zien: Of een niet-ondersteunde claim ook onjuist is
- Geldigheid van citaties — Wat het laat zien: Geciteerde bronnen die bestaan en de bijgevoegde claim ondersteunen; Wat het niet kan laten zien: Of de geciteerde bron actueel is
- Brondekking — Wat het laat zien: Aandeel van claims met een controleerbare bron; Wat het niet kan laten zien: De kwaliteit van de gekozen bronnen
- Percentage onthoudingen of escalaties — Wat het laat zien: Gevallen die naar een mens worden doorgeleid in plaats van beantwoord; Wat het niet kan laten zien: Of de doorleidingsbeslissing juist was
- Calibratie, inclusief Expected Calibration Error — Wat het laat zien: Kloof tussen het aangegeven vertrouwen en de waargenomen juistheid; Wat het niet kan laten zien: Nauwkeurigheid op gevallen buiten de testset
Gebruik vertrouwen voorzichtig
Betrouwbaarheidsdiagrammen vergelijken vertrouwen met waargenomen juistheid; Expected Calibration Error vat de mismatch over vertrouwensgroepen samen. Geen van beide stelt vast dat een individueel antwoord juist is. Beschouw assertief taalgebruik niet als een gecalibreerde vertrouwensmeting.
Onze aanbeveling is om een overmoedige fout nauwkeuriger te onderzoeken dan een expliciet onopgelost punt. Voor ingrijpende juridische of medische claims vereist u een broncontrole die past bij de beslissing, escaleert u onopgeloste meningsverschillen tussen reviewers en behoudt u correcties zichtbaar. Een gepolijste synthese mag niet verhullen welke claims zijn gewijzigd of waarom.
Wat moet er na implementatie nog worden geauditeerd?
Na implementatie moeten auditors het gebruikte antwoord, het ondersteunende materiaal en de menselijke beslissingen eromheen onderzoeken. Een score vóór release kan op zichzelf niet vaststellen of een later antwoord gepast bleef nadat de prompt, bronnen, modelversie of gebruikersbewerkingen waren gewijzigd.
Een governancestudie naar AI-onderzoeksprioriteiten meldt toenemende aandacht van bedrijven voor onderwerpen vóór implementatie, naast afnemende aandacht voor falen in de implementatiefase, waaronder bias, hallucinaties, desinformatie en domeinspecifieke schade. Dat is de bevinding van de studie over onderzoeksaandacht, niet een bevinding dat elke organisatie operationele monitoring verwaarloost.
In onze analyse is de relevante risico-eenheid vaak de volledige workflow. De auditvraag is welk bewijs beschikbaar was voor het systeem, wat het citeerde, wat de reviewer als weggelaten identificeerde en wat omstreden bleef toen iemand het antwoord gebruikte.
De onderstaande visual onderscheidt reviewactiviteit van beveiligingstesten, die beide relevant kunnen blijven tijdens het gebruik.
Bewaar de gebeurtenis, niet alleen het eindproduct
Voor een monitoringprogramma op caseniveau raden wij aan:
- Vastlegging op gebeurtenisniveau. Koppel de aanvraag, het opgehaalde materiaal, de output, de bewerkingen door de gebruiker en de acceptatiebeslissing via een dossieridentificatie.
- Controles op actualiteit van bronnen. Leg vast wanneer een belangrijke referentie is geraadpleegd en of de status ervan was gewijzigd vóór gebruik.
- Zichtbare onenigheid. Bewaar tegenstrijdige bevindingen van beoordelaars en de beslissing van de verantwoordelijke persoon.
- Escalatie op basis van belang. Bepaal welke onzekerheden een beoordeling door een specialist vereisen in plaats van gewone acceptatie.
- Onderzoek na gebruik. Beoordeel afgeronde dossiers op fouten en inspecteer de output opnieuw voordat u deze archiveert of doorstuurt.
Een definitief document legt vast wat iemand heeft geaccepteerd. Het audittraject moet ook uitleggen wat die persoon heeft afgewezen en waarom.
Inzet met hoog risico in de EU: Artikel 26 van de EU AI Act behandelt toezicht door mensen met passende competentie, opleiding, bevoegdheid en ondersteuning, en relevante, voldoende representatieve invoergegevens wanneer de gebruiksverantwoordelijke die invoer beheert. De toepasbaarheid hangt af van de classificatie, de rol van de organisatie en andere toepasselijke wetgeving.
Deze bijbehorende video biedt een ander formaat om over operationele beoordeling na te denken.
Continue monitoring moet mogelijkheden creëren om fouten op te sporen en te corrigeren. Het mag niet worden omschreven als een garantie van waarheid, of worden gebruikt om het bewaren van gevoelig materiaal zonder een gedefinieerd doel en toegangscontroles te rechtvaardigen.
Hoe verschillen onafhankelijke controles van injectietests?
Onafhankelijke controles onderzoeken of een antwoord vertrouwen verdient; injectietests onderzoeken of invoer het systeem kan omleiden naar ongeautoriseerd gedrag. Beide horen thuis in AI-auditing, maar succes in het ene bewijst geen succes in het andere.
Voor onafhankelijke verificatie onderzoekt een beoordelaar die de conceptversie niet heeft opgesteld de feitelijke beweringen, zwakke aannames en ontbrekende context. Een afzonderlijke kritische lezing stelt de vraag of de conclusie voortvloeit uit de premissen, terwijl bronverificatie toetst of actuele referenties de beweringen ondersteunen.
Deze vergelijking houdt de doelstellingen van elkaar gescheiden.
Onafhankelijkheid is een voorwaarde voor beoordeling
Afzonderlijke beoordelaars moeten toestemming hebben om de aannames van de conceptversie te verwerpen, niet louter de formulering ervan te verbeteren. Hun onenigheid kan onopgelost blijven in de uiteindelijke synthese wanneer het bewijs het kiezen van één enkel antwoord niet rechtvaardigt. Het oordeel blijft bij de verantwoordelijke professional.
Verificatie over meerdere modellen heen kan het risico van een zelfverzekerd maar onjuist antwoord verkleinen, maar elimineert het niet. Overeenstemming is bewijs van overeenstemming, geen bewijs dat de beoordelaars gezonde premissen hebben gebruikt of elke relevante bron hebben gevonden.
Beveiliging heeft bewijs op uitvoeringsniveau nodig
De prompt-injection-richtlijnen van OWASP maken onderscheid tussen directe injectie, via geprepareerde gebruikersinvoer, en indirecte injectie, via gemanipuleerde externe inhoud zoals documenten of webpagina's. Ze benoemen mogelijke gevolgen zoals data-exfiltratie, social engineering en ongeautoriseerde acties, en adviseren het model als onbetrouwbaar te behandelen, bevoegdheden te beperken, externe inhoud van instructies te scheiden en goedkeuring te vereisen voor bevoorrechte acties.
Een nuttige test onderzoekt daarom wat de applicatie doet, niet alleen wat het model zegt. Een antwoord kan een kwaadaardig verzoek weigeren terwijl een gekoppelde component toch informatie blootgeeft of een bewerking uitvoert.
De preventie-cheatsheet van OWASP ondersteunt concrete acceptatiecriteria:
- Goedkeuring vóór uitvoering. De geautoriseerde persoon beoordeelt de voorgestelde bewerking, het doelwit en de argumenten voordat een belangrijke actie plaatsvindt.
- Bevoegdheden buiten het model. Applicatiecode valideert argumenten en handhaaft bevoegdheid onafhankelijk van gegenereerde tekst.
- Onderzoekbare vastlegging. Beveiligingslogs bewaren relevante beslissingen en metadata zonder inloggegevens, geheimen of onnodige gevoelige promptinhoud.
Een gedocumenteerde workflow en scoringsaanpak voor LLM-red-teaming kan die tests organiseren. Test alleen systemen en accounts die de organisatie bezit of waarvoor zij expliciet geautoriseerd is om ze te beoordelen, en maak onderscheid tussen een succesvolle verdediging en een ongeteste route.
Waar falen professionele AI-audits vaak?
Professionele AI-audits falen wanneer beoordelaars het verkeerde object onderzoeken, een bevinding buiten de reikwijdte ervan accepteren of de bevoegdheid missen om die te betwisten. De volgende scenario's illustreren verschillende vormen van falen zonder te suggereren dat één checklist op elk beroep past.
Een juridisch memo met een overtuigende verwijzing
Stel dat een assistent een goed leesbaar memo produceert met een verwijzing die aannemelijk lijkt. De beoordelaar controleert de toon van de samenvatting, maar raadpleegt de aangehaalde bron niet opnieuw en vergelijkt de stelling niet met het dossier. Het gemiste probleem is niet de presentatiekwaliteit: het is de vraag of de bron bestaat, de stelling ondersteunt en van toepassing is op de vraag.
Een eerlijkheidsscore zegt weinig over dit specifieke stuk. Interne goedkeuring vormt evenmin een onafhankelijke beoordeling als hetzelfde team zowel de conceptversie opstelt als de betwiste beweringen ervan zonder tegenspraak accepteert.
Een klinische notitie met een toegevoegde conclusie
Stel dat een concept arbo-notitie een zelfverzekerde causale verklaring toevoegt die niet in het dossier voorkomt. Een arts neemt die verklaring later op in zijn redenering zonder te herkennen dat het een gegenereerde toevoeging is. De auditvraag is of het bronmateriaal, de onzekerheid en de beslissing van de deskundige beoordelaar van elkaar te onderscheiden blijven.
Een schemavalide tabel lost die vraag niet op. Correcte veldnamen en opmaak kunnen samengaan met een onjuist getal, een onjuiste relatie of een onjuiste conclusie.
Een nalevingsdocument dat instructies bevat
Stel dat een geüpload screeningsdocument tekst bevat die de applicatie opdraagt om gegevens vrij te geven of een actie te starten. De weergegeven samenvatting kan correct lijken terwijl het beveiligingsfalen elders in de workflow optreedt. Een beoordeling op prozakwaliteit zou niet vaststellen of de applicatie haar autorisatiegrenzen heeft gerespecteerd.
Verantwoordingstest: Een override is nuttig bewijs wanneer deze vastlegt wie heeft ingegrepen, wat die persoon heeft afgewezen en de reden daarvoor.
Discussie over controles in de publieke sector identificeert problemen in het begrip van auditors van algoritmen en de kritische beoordeling van outputs in het INTOSAI discussion paper on AI auditing. Onze institutionele analyse is dat concurrerende definities van eerlijkheid en uiteenlopende professionele contexten één gezaghebbende maatstaf tot een ongeschikte standaard maken.
De kwaliteit van de controle hangt daarom af van het afstemmen van de methode op het gebruik, de betrokken personen, de belangen van de beslissing en de beschikbare logs. Professioneel oordeel kan het model overrulen; de organisatie dient de reden te bewaren in plaats van de overruling als een ongemak te behandelen.
Wat moet een besluitvormer vragen voordat er wordt gehandeld?
Vraag voordat u handelt om een dossier dat de opsteller van het concept identificeert, de onafhankelijke feitelijke beoordelaar, de kritische lezing en de ondersteunende bronnen. Het dossier dient te tonen wat betwist blijft en wat er veranderde tussen het eerste antwoord en de geaccepteerde tekst.
De acceptatiebeslissing verdient evenveel aandacht. Wie had de competentie, training, bevoegdheid en ondersteuning om de output te overrulen? Kan een geautoriseerde beoordelaar de logs heropenen zonder een nieuwe ongecontroleerde opslag van vertrouwelijke inhoud te creëren?
Meer artikelen over dit onderwerp zijn verzameld in het overzicht AI-governance.
Bronnen en referenties
- NIST AI Risk Management Framework
- European Commission's AI Act overview
- Real-World Gaps in AI Governance ResearchAI safety and reliability in everyday deployments
- The 30% Blind Spot: AI Assurance in Internal Audit Is Related to Governance Maturity, Not Belief in AI
- Article 26: Obligations of deployers of high-risk AI systems
- AI Index 2025: State of AI in 10 Charts
- LLM01: Prompt Injection
- LLM Prompt Injection Prevention
Bronnen: Het dekkingscijfer van 30% komt uit het onderzoek van de AUDIT Lab aan Canisius University met Cherry Hill Advisory uit 2025; het aantal incidenten uit de AI Index 2025 van Stanford University en de AI Incident Database; de auditverwachtingen zijn gebaseerd op het NIST AI Risk Management Framework.