Accepteer een AI-prestatieclaim pas na eigen test met afgeschermde data, niet op een certificaat

Accepteer een prestatieclaim over een AI-toepassing niet op een certificaat, modelkaart of leveranciersverklaring. De Amerikaanse rekenkamer GAO stelt dat instanties AI vóór gunning onafhankelijk verifiëren met representatieve validatiedata die de leverancier niet kent, de levenscyclus blijven monitoren en dat vertalen naar drempels, hertests na modelwijzigingen en een weigeringsoptie.

Op 5 november 2026 publiceerde de U.S. Government Accountability Office een beoordeling van AI-acquisities bij federale instanties. De GAO koppelt AI-acquisities aan het beheersen van risico’s, het vastleggen van prestatiemaatstaven en het evalueren van prestaties. Onze analyse vertaalt dat naar drie eisen: verifieer vóór gunning wat het systeem wel en niet kan, gebruik voor zover mogelijk onafhankelijke en representatieve validatiedata, en monitor prestaties gedurende de levenscyclus.

Dat verschuift het inkoopvraagstuk. Het probleem is niet langer alleen welke leverancier kies ik, maar hoe verifieer ik vóór gunning dat de prestatieclaim klopt in mijn eigen context. Deze kaders komen uit de Amerikaanse en Britse publieke sector; zij vormen geen Nederlandse aanbestedingsnorm en geen uitwerking van de Europese AVG-regels voor persoonsgegevens of van de EU AI Act (Verordening (EU) 2024/1689) voor hoogrisico-AI. Naar onze inschatting ondersteunen zij wel een controleprincipe dat even hard geldt voor private organisaties.

Wat stelt de GAO-beoordeling over het testen van AI vóór contracttoekenning?

De GAO-beoordeling bespreekt uitdagingen bij federale AI-acquisities, waaronder het vaststellen van requirements, vroegtijdig testen, monitoring en het verzamelen van lessen. Onze analyse is dat zakelijke AI-inkoop daarom niet verantwoord kan steunen op leveranciersclaims of algemene certificeringen alleen. Onze lezing van deze uitdagingen is dat inkopers vóór gunning moeten verifiëren wat een systeem kan, waar passend onafhankelijke evaluatie moeten organiseren en prestaties gedurende de levenscyclus moeten blijven volgen. Onze analyse daaruit is dat een eenmalige leveranciersdemonstratie op zichzelf onvoldoende bewijs vormt en dat toetsing gedurende de levenscyclus moet kunnen worden herhaald.

Andere officiële kaders maken dit concreet. Het Department of Energy verlangt vóór aanbesteding een AI Impact Assessment met onder meer privacy, cybersecurity, datakwaliteit, bias en uitlegbaarheid, plus minimale nauwkeurigheids- en prestatiedrempels, wijzigingsmeldingen en testen vóór een nieuwe versie live gaat. Het Department of the Interior vraagt dat evaluatieteams producten waar mogelijk tijdens de selectie testen en leveranciers verplichten prestaties te monitoren, onaanvaardbaar gedrag te herstellen en nieuwe versies pas uit te rollen nadat ze aan de normen voldoen.

Waarom volstaan certificaten, modelkaarten en leveranciersclaims niet als bewijs?

Omdat een verklaring over de eigen prestaties geen onafhankelijke toets is. Een academische studie naar leverancierszelfrapportages voor publieke-sector-AI rapporteert dat die documenten vaak de baseline, de methode en de context missen om claims zoals hoge nauwkeurigheid zelfstandig te kunnen beoordelen. De auteurs bevelen aan zelfrapportages aan te vullen met onafhankelijke audits, sandboxpilots en eigen evaluaties, in plaats van op verklaringen alleen te vertrouwen.

De AI-inkoopgids van RICS trekt dezelfde lijn: leg vóór aanschaf vast in hoeverre het systeem op geschiktheid voor het beoogde doel is getest, en vraag schriftelijke informatie over dataverwerking, trainingsdatakwaliteit, bekende lacunes, biasrisico's en de praktische testresultaten. Een cijfer zonder vergelijkingsbasis is geen bewijs dat het systeem bij u werkt. Dat sluit aan bij de gedachte dat een conform AI-model kopen u niet van eigen plichten onder de EU AI Act ontslaat.

Welk bewijs moet ik vóór gunning hebben en hoe leg ik dat contractueel vast?

Werk in vier stappen, van eigen eisen naar afdwingbare afspraken. De leveranciersdocumentatie is daarbij input die u verifieert, geen zelfstandig bewijs.

1. Definieer de taak en de drempels. Leg beoogd gebruik, gegevensclassificatie, foutkosten, operationele grenzen en minimale prestatie-, privacy-, bias- en veiligheidsdrempels vast vóór u de markt op gaat. Waar de AI persoonsgegevens verwerkt, beoordeelt u vóór ingebruikname welke AVG-verplichtingen op de concrete verwerking van toepassing zijn; bij verwerkingen met waarschijnlijk een hoog risico kan een gegevensbeschermingseffectbeoordeling vereist zijn.
2. Vraag documentatie op als te verifiëren input. Verzamel model-, data-, veiligheids-, privacy-, wijzigings- en beperkingsdocumentatie, maar behandel die als claims die u toetst.
3. Test onafhankelijk met afgeschermde data. Laat een evaluatiefunctie toetsen met representatieve validatiedata en scenario's die de leverancier niet kan optimaliseren. Leg naast gemiddelde prestaties ook fouttypen, onzekerheid, bias, robuustheid, privacygedrag, beveiliging, latency, kosten en faalmodi vast.
4. Maak de acceptatiecriteria contractueel. Regel monitoring, incidentmelding, wijzigingsnotificatie, hertest vóór een nieuwe versie, toegang tot relevante logs en een rollback- of beëindigingsrecht als prestaties of risico's buiten de afgesproken grenzen komen.

Vertaal die laatste stap in harde tekst, niet in een algemene betrouwbaarheidsbelofte. Dat vraagt om een afdwingbaar auditrecht met concreet inspectiebewijs en om concrete voorbeelden van controlebewijs die u kunt documenteren.

Wat betekent dit voor bestuurders, juristen en CISO's die AI inkopen?

Onze analyse: omdat de GAO onafhankelijke validatie vóór gunning tot kernvoorwaarde maakt, verschuift de bewijslast naar de inkopende organisatie, en dat raakt elke bestuurder die een AI-aanschaf tekent; daarom voegt u aan de aanbesteding een pre-award-verificatiefase toe met een eigen, afgeschermde validatieset voordat de gunningsbeslissing valt. Onze praktische beoordeling is dat, omdat leverancierszelfrapportages volgens het aangehaalde onderzoek vaak baseline en methode missen, een jurist bij een geschil over ondermaatse prestaties niet op een certificaat alleen zou moeten bouwen; daarom legt de jurist nu meetbare drempels, een hertestplicht na modelwijzigingen en een rollback- of ontbindingsclausule vast in het contract, en toetst hij of de verwerking van persoonsgegevens aan de AVG voldoet. Onze analyse: omdat modellen na gunning kunnen worden gewijzigd, kan een CISO een eenmalige acceptatietest niet als blijvend bewijs gebruiken; daarom moet de CISO wijzigingsnotificatie, logtoegang en herbeoordeling vóór elke nieuwe versie contractueel eisen, zodat afwijkend gedrag eerder zichtbaar kan worden. En omdat een private organisatie zelden de interne evaluatiecapaciteit van een federale instantie heeft, dreigt naar onze inschatting het risico dat de verificatie wordt overgeslagen; daarom belegt u die functie expliciet, intern of via een onafhankelijke derde, en neemt u in uw inkoopbeleid een weigeringsoptie op wanneer de leverancier onvoldoende controleerbaar bewijs levert. Wat hierbij hoort en wat uit het eigen beleid volgt, leest u in onze themahub over AI-governance en verantwoord inkopen.

Kort samengevat als besluitlijn:

• Verifieer vóór gunning zelf, met data die de leverancier niet kent.
• Leg drempels, hertests en rollback contractueel vast, niet als intentie.
• Monitor na gunning en herbeoordeel vóór elke nieuwe versie.
• Koop niet in bij onvoldoende controleerbaar bewijs.

Bronnen: Het artikel steunt op een beoordeling van de U.S. Government Accountability Office en op acquisitiekaders van RICS, het Amerikaanse Department of Energy en Department of the Interior, aangevuld met academisch onderzoek naar leverancierszelfrapportages.