Hoeveel herhalingen een promptbetrouwbaarheidstest nodig heeft, hangt af van effectgrootte, niet van een vuistregel

Er bestaat geen vaste vuistregel zoals vijf herhalingen; peer-reviewed onderzoek toont dat de benodigde omvang afhangt van de kleinste relevante effectgrootte, het aantal testitems, het betrouwbaarheidsniveau en de gekozen maat. Leg dat ontwerp vooraf vast en toets betrouwbaarheid en inhoudelijke juistheid apart, want consistentie bewijst geen correctheid.

Een op 12 april 2026 gepubliceerd raamwerk in het Journal of Business Analytics behandelt promptreproduceerbaarheid als een statistisch ontwerpvraagstuk in plaats van een willekeurige keuze. De auteurs bepalen de steekproefomvang vóór de dataverzameling, voeren replicaties per modelconditie uit en analyseren de overeenstemming met meerdere betrouwbaarheidsmaten. In hun binaire financiële-classificatiecasus, met 90 procent betrouwbaarheid en een foutmarge van 10 procent, kwamen zij volgens de meest conservatieve maat uit op 1.317 testitems en vijf herhalingen per model.

Die vijf herhalingen zijn dus geen universele norm, maar het resultaat van die specifieke casus. Een methodologische preprint op Research Square onderbouwt dat met Monte-Carlo-poweranalyses: vijf iteraties geven alleen voldoende onderscheidend vermogen voor grote instabiliteit, middelgrote effecten vragen minstens vijftien iteraties, en kleine effecten blijven onder veertig iteraties moeilijk aantoonbaar.

Hoeveel herhalingen per prompt zijn nodig om een betrouwbaarheidstest te onderbouwen?

Dat hangt af van het kleinste verschil dat u nog relevant vindt. Hoe kleiner de variatie die u betrouwbaar wilt kunnen aantonen, hoe meer herhalingen u nodig heeft. In de aangehaalde poweranalyse waren vijf iteraties alleen voldoende voor grote effecten; middelgrote effecten vroegen minstens vijftien iteraties en kleine effecten bleven onder veertig iteraties moeilijk detecteerbaar. Het benodigde aantal hangt daarbij af van de gekozen metriek en het analyseontwerp.

Belangrijk is dat drie niveaus los van elkaar worden gepland. Onze analyse, gebaseerd op deze studies, onderscheidt drie planningsniveaus. Ten eerste is het aantal testitems de steekproef uit de populatie van documenten, vragen of scenario's waarop u het model wilt inzetten. Het tweede is het aantal herhalingen per item, nodig om de stochastische variatie van de modeloutput te schatten. Onze analyse behandelt prompt-, model- en — wanneer relevant — temperatuurcondities als afzonderlijke testcondities die afzonderlijk moeten worden gepland; dit geldt evengoed voor modellen van aanbieders als OpenAI en Anthropic. Leg vooraf vast:

• een primaire betrouwbaarheidsmaat;
• de minimale relevante effectgrootte;
• het betrouwbaarheidsniveau en de foutmarge;
• het gewenste onderscheidend vermogen (power).

De onderzoekers in Frontiers in Education waarschuwen bovendien dat herhaalde outputs binnen hetzelfde item meestal niet onafhankelijk zijn. Naar onze inschatting is dit de meest onderschatte fout in de praktijk: wie herhalingen als losse observaties optelt, blaast de effectieve steekproef kunstmatig op en overschat de precisie. Analyseer herhalingen als geneste metingen binnen een model-itemcombinatie.

Waarom is een consistent AI-model nog geen correct AI-model?

Omdat betrouwbaarheid en validiteit twee verschillende dingen meten. Een model kan bij herhaling exact hetzelfde label geven en toch stelselmatig de verkeerde uitkomst voorspellen. Hoge consistentie zegt dus niets over inhoudelijke juistheid.

De financiële-classificatiestudie maakt dit onderscheid expliciet: modellen gaven consistent dezelfde labels zonder de externe uitkomst goed te voorspellen. In de grant-reviewstudie konden promptcondities de scores sterk verschuiven, terwijl de overeenstemming tussen de AI-aanbevelingen en de menselijke financieringsbesluiten op of onder kansniveau bleef. Een stabiel antwoord dat consequent fout is, blijft fout. Daarom moet u reproduceerbaarheid en validiteit apart rapporteren en de output toetsen tegen een onafhankelijke referentie. Zie ook waarom een voorspellende formule nog geen bewijs van veiligheid is.

Wat betekent dit voor bestuurders, juristen en CISO's die AI-output moeten verantwoorden?

Een eenmalige reproduceerbaarheidstest binnen één vaste prompt-modelcombinatie toont alleen de eigenschappen van die configuratie; zij zegt niet vanzelf iets over stabiliteit na latere wijzigingen. Zodra prompt, model, provider, temperatuur of een gekoppelde tool wijzigt, geldt de eerdere test niet zonder meer als bewijs voor de nieuwe configuratie; beoordeel dan of een nieuwe meetronde nodig is. Dit sluit aan bij waarom een modelwijziging elke eerdere aanname kan omverwerpen.

Onze analyse: omdat herhaalde outputs binnen één vaste configuratie niet bewijzen dat resultaten stabiel blijven na een modelupdate, behandelen wij elke nieuwe configuratie als een apart testobject. Onze aanbeveling is daarom om in het inzetbeleid vast te leggen dat een modelversiewissel een nieuwe meetronde triggert voordat output opnieuw voor de gewijzigde configuratie wordt gebruikt. Onderzoek in Political Analysis rapporteert dat dezelfde prompt over de tijd andere varianties en verbanden kan opleveren. Onze analyse is daarom dat een CISO niet op een vaste snapshot kan vertrouwen. Onze aanbeveling is om periodieke her-evaluatie als terugkerende controle in het beheerproces op te nemen. Omdat consistentie geen validiteit bewijst, volstaat voor een jurist die een AI-uitkomst overneemt niet de observatie dat het model telkens hetzelfde zegt. Onze aanbeveling is om in het dossier een onafhankelijke toetsing tegen de feitelijke uitkomst vast te leggen, aansluitend bij toetsbare eisen aan menselijke controle bij AI-besluiten. En omdat auditors zonder vastgelegd ontwerp niet kunnen reconstrueren waarop een conclusie rust, hoort het statistische plan, inclusief maat, foutmarge en powerdoel, vóór de test te worden vastgelegd en niet achteraf te worden gereconstrueerd. Meer context staat in de themahub over AI-verificatie en betrouwbaarheid van modeloutput.

Welk testprotocol legt reproduceerbaarheid controleerbaar vast?

Een protocol dat het ontwerp vooraf vastlegt en elke relevante wijziging als aanleiding voor een nieuwe meetronde behandelt. Het combineert een vooraf gekozen steekproefontwerp met expliciete vastlegging van de configuratie en een onafhankelijke validiteitstoets.

1. Definieer de beoogde taakpopulatie en trek een gestratificeerde testset met normale, zeldzame en grensgevallen.
2. Bepaal het aantal items via een vooraf gekozen betrouwbaarheids- of powerdoel, met vastgelegde maat, foutmarge en betrouwbaarheidsniveau.
3. Bepaal het aantal herhalingen op basis van de kleinste variatie die u nog relevant acht.
4. Analyseer herhalingen als geneste metingen; tel ze niet als losse observaties.
5. Rapporteer betrouwbaarheidsintervallen en het aandeel ontbrekende of ongeldige outputs.
6. Toets de inhoudelijke juistheid tegen een onafhankelijke referentie, los van de consistentie.
7. Herhaal de test na elke prompt-, model-, provider-, temperatuur- of toolwijziging.
8. Bewaar prompt, modelversie, instellingen, tijdstip, invoerhash, ruwe uitvoer en het beoordelaarsbesluit.

Wie dit nalaat, rapporteert een cijfer waarvan de geldigheid mogelijk beperkt blijft tot de geteste configuratie en dat niet zonder meer naar een gewijzigde configuratie kan worden geëxtrapoleerd. Dat is, naar onze inschatting, een belangrijk risico voor de controleerbaarheid van conclusies door toezichthouders en interne auditors.

Bronnen: Het artikel steunt op peer-reviewed onderzoek in het Journal of Business Analytics, Frontiers in Education en Political Analysis en op een methodologische preprint op Research Square.