Wie ervan uitgaat dat dezelfde prompt, hetzelfde model en dezelfde instellingen altijd tot hetzelfde antwoord leiden, komt bedrogen uit. Dat is de kern van de studie Same Prompt, Different Outcomes: Evaluating the Reproducibility of LLM-Based Data Analysis (februari 2026). De onderzoekers voerden 480 LLM-uitvoeringen uit over verschillende modellen, temperatuursinstellingen en promptingstrategieën, en constateerden dat zelfs identieke configuraties tot uiteenlopende data-analyses en conclusies leidden. Hun boodschap is nuchter: reproduceerbaarheid is geen vanzelfsprekende eigenschap van taalmodellen, maar iets dat je actief moet meten via herhaalde runs en een systematische evaluatie van completion, concordance, validity en consistency. De studie is te vinden op arXiv.
Reproduceerbaarheid meten in plaats van aannemen
Meerdere bronnen bevestigen dat variatie ook bij strakke instellingen blijft bestaan. De studie Reproducibility and Robustness of Large Language Models for Clinical Mobility Extraction (april 2026) kwantificeerde reproduceerbaarheid en robuustheid van LLMs in klinische tekstextractie via herhaalde runs — 13.200 inferences over meerdere temperaturen — waarbij overeenstemming als statistische maat werd gebruikt. De uitkomst: reproduceerbaarheid bij identieke prompts en tekst hangt sterk af van model, taak en temperatuur, en zelfs bij temperatuur 0 treedt variatie op. Meerdere runs en het rapporteren van variabiliteit zijn daarom nodig in zorgcontexten. De volledige tekst staat op PMC.
Het essay Randomness in Large Language Models: What Researchers Need to Know (juli 2026) trekt dit breder. Het stelt dat LLM-uitvoer in de praktijk moet worden opgevat als trekkingen uit een verdeling in plaats van vaste metingen, en beschrijft bronnen van willekeur zoals sampling, stille modelupdates en routering. Het toont empirisch dat temperatuur 0 niet alle variabiliteit wegneemt, en introduceert rapportagestandaarden voor prompt- en modelconfiguraties zodat herhaling en auditing van LLM-gebaseerde onderzoeken mogelijk worden. Het stuk is beschikbaar via papers.cool.
Prompt- en harnessontwerp als experimentele setting
Reproduceerbaarheid zit niet alleen in het model, maar in het hele testharness. Het preprint Prompt Design at Scale (juli 2026) introduceert VeyraBench en een schaalbare prompt-designharness die inclusief corpusgenerator en ruwe resultaten byte-identieke reproductie mogelijk maakt. Het laat zien dat variaties in promptformaat, instructieaantal en contextlengte systematisch effect hebben op instructienaleving en hallucinaties, en dat volledige openbaarheid van harness, data en resultaten de reproduceerbaarheid van prompt-experimenten sterk vergroot. Het preprint is te lezen op arXiv.
De praktijkgids How can AppSec teams make AI findings consistent enough to use? (augustus 2026) beschrijft hoe applicatiebeveiligingsteams AI-bevindingen consistent genoeg kunnen maken om bruikbaar te zijn, met nadruk op een stabiel testharness, vaste prompttemplates, versionering van prompts en evaluatiesets, en expliciete meting van run-tot-run variatie en drift. De gids koppelt deze reproduceerbaarheidspraktijken aan NIST- en NIST CSF-controles voor configuratiebeheer en procesconsistentie. Het artikel staat op nhimg.org.
Van losse prompt naar verifieerbare keten
Samen schetsen deze bronnen reproduceerbaarheid als een keten van beslissingen die zichtbaar moeten zijn: welke promptversie is gebruikt, met welke modelconfiguratie, tegen welke dataset en testcases, hoeveel runs zijn uitgevoerd, hoe groot was de variatie, en welke antwoorden zijn uiteindelijk als vertrouwbaar genoeg geaccepteerd. Voor professionals met gevoelige of hoog-trust informatie betekent dit dat prompts en AI-antwoorden behandeld moeten worden als experimentele handelingen die herhaalbaar moeten zijn: met vaste prompt-templates, versiebeheer, herhaalde runs en statistische variabiliteitsmetingen.
Hier ligt de rol van een verificatieconsole zoals IamVera.ai. Vera bouwt geen nieuw model, maar is een verificatielaag die de keten rond prompts en AI-antwoorden zichtbaar kan maken: welke promptversies, modelinstellingen en testcases tot welke antwoorden hebben geleid en hoe consistent die antwoorden zijn over de tijd. Zo kan het helpen om aan te tonen dat AI-antwoorden reproduceerbaar genoeg zijn voor audit en besluitvorming, terwijl het professionele eindoordeel altijd bij de gebruiker blijft.