Blog

Cijfers uit AI zijn claims, geen feiten: waarom schema-checks niet volstaan

Nieuwe studies uit 2026 schetsen dat AI structureel fouten maakt met getallen en tabellen. Waarom validatie van cijfers een gelaagde, zichtbare keten vraagt.

· Victor Angelier

Een spreadsheet die er netjes uitziet, een JSON-antwoord dat door de schema-validatie komt, een tabel met keurige kolommen: het oogt betrouwbaar. Toch beschrijven meerdere studies uit de eerste helft van 2026 dat die formele correctheid weinig zegt over de inhoudelijke juistheid van de cijfers. Naar onze analyse volgt daaruit een sterke case om elke numerieke uitspraak en elk berekend veld uit AI te behandelen als een claim die apart controle verdient, zeker voor professionals die met gevoelige of hoog-impact data werken.

De directe aanleiding is de paper StructHallu-Drift: Benchmarking Structured Hallucinations Under Schema Evolution in LLMs (juli 2026). Die introduceert een benchmark voor gestructureerde output — SQL, JSON en record-formaat — en rapporteert dat tussen de 39 en 54 procent van die outputs minstens één semantische hallucinatie bevat. In deze benchmark liet schema-validatie de meeste syntactische fouten afvangen, maar bleef nog rond de 8 procent semantische fouten staan, vooral bij type-coercion en relationele inconsistenties. Met andere woorden: de structuur klopt, maar het getal of de relatie tussen velden niet.

Structuur controleren is niet hetzelfde als cijfers controleren

Dit is het kernpunt. Een JSON- of schema-check toetst vorm: zijn de verplichte velden aanwezig, kloppen de types, is de opbouw geldig? Dat is nuttig, maar het zegt niets over de vraag of het getal in een cel het juiste getal is, of een aggregatie klopt, of rijen en kolommen consistent zijn. De StructHallu-Drift-benchmark schetst dat juist daar de fouten blijven zitten.

Een studie van juni 2026, When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors, maakt hetzelfde probleem concreet op tabelniveau. De studie beschrijft dat grote taalmodellen systematisch verkeerde getallen uit tabellen halen: ze lezen de verkeerde cel, negeren relevante waarden of verwijzen naar waarden die niet bestaan. In die studie steeg de nauwkeurigheid in data-referencingtaken met tot 12 procentpunt door een gespecialiseerd critic-model toe te voegen dat antwoorden langs de onderliggende tabel legt. Naar onze inschatting onderstreept dat vooral dat een enkel model zonder controlelaag hier kwetsbaar is.

Ook AI-onderzoek zelf zit vol fouten in cijfers en tabellen

Dat foutgevoeligheid geen randverschijnsel is, blijkt uit Systematic Quantification of Errors in Published AI Papers (december 2025). Een geautomatiseerde Correctness Checker vond in 2.500 gepubliceerde AI-papers gemiddeld 4,7 objectieve fouten per paper — waaronder verkeerde berekeningen in tabellen en inconsistenties tussen tekst en tabel. Menselijke experts bevestigden 83,2 procent van de door het systeem gemelde fouten. Dit betreft nadrukkelijk fouten in gepubliceerde AI-papers, niet een directe meting van productiesystemen; naar onze inschatting dient het vooral als indicatie voor de foutgevoeligheid van formules en tabellen.

Twee dingen vallen op. Ten eerste: geautomatiseerde controle van formules, berekeningen en tabellen is haalbaar en vindt veel. Ten tweede: het systeem is zelf niet onfeilbaar — 83,2 procent van de meldingen werd bevestigd, dus ongeveer 16,8 procent viel af bij menselijke toetsing (een berekende benadering op basis van dat percentage). Dit wijst erop dat automatische validatie één laag in een bredere keten is, geen eindoordeel.

Hoe kritische gebruikers het in de praktijk al doen

De CHI 2026-studie "I'm Always a Little Skeptical of It" volgde in een opzet met twaalf blinde spreadsheetgebruikers hoe zij AI-output in spreadsheets verifiëren. Alle deelnemers gaven aan generatieve AI-output nooit volledig te vertrouwen. Ze combineerden vijf strategieën: handmatige controles in de spreadsheet, doorvragen bij hetzelfde model, controlevragen aan andere AI-systemen, verificatie door ziende personen en toetsing aan eigen domeinkennis.

In die studie bleef ongeveer de helft van de geobserveerde fouten onopgemerkt, vooral in visuele elementen zoals grafieken, condities en opmaak. Naar onze analyse is dat een nuchtere les: zelfs meervoudige verificatie is geen garantie, en juist daarom lijkt het ons zinvol om de doorlopen controles expliciet en zichtbaar te maken in plaats van ze in het hoofd van de gebruiker te laten.

Validatie wordt productfunctie — maar de verantwoordelijkheid blijft bij de gebruiker

Aanbieders bouwen dit soort controle inmiddels in. In de officiële Google Workspace-update Troubleshoot formula errors quickly with Gemini in Sheets (juni 2026) wordt een functie aangekondigd waarmee gebruikers formulefouten in één klik kunnen laten analyseren en corrigeren. Volgens die aankondiging kan Gemini formulefouten analyseren, de oorzaak toelichten en een gecorrigeerde formule voorstellen.

De aankondiging is helder over de grens: het is een hulpmiddel voor foutopsporing, geen garantie op correcte uitkomsten. De verantwoordelijkheid voor juist gebruik en interpretatie ligt volgens de update expliciet bij de gebruiker. Naar onze inschatting betekent dat dat organisaties zelf moeten bepalen hoe een AI-suggestie voor een berekening wordt gewogen voordat die in besluitvorming meetelt.

Een gelaagde, zichtbare verificatieketen

Uit deze bronnen komt naar onze analyse een consistent beeld naar voren. Betrouwbare validatie van cijfers, berekeningen en tabellen uit AI vraagt om meerdere lagen: schema-validatie voor de vorm, semantische en relationele checks voor de inhoud, uitvoeringstests die formules en queries daadwerkelijk laten draaien, een critic-model dat data-referenties langs de bron controleert, en tot slot menselijke review op de uitkomsten. Dit wijst erop dat geen van deze lagen op zichzelf voldoende is.

Hier past een verificatieconsole zoals I am Vera. Vera is een privacygerichte verificatielaag — geen model dat zelf cijfers produceert en geen chatbot — die een taak via geselecteerde onafhankelijke AI-modellen kan routeren en de doorlopen controlestappen zichtbaar kan maken. Dit ondersteunt review en controle, maar garandeert geen correctheid. Voor professionals die met vertrouwelijke informatie werken, is daarnaast relevant dat de productarchitectuur zo is ontworpen dat voorbewerking en anonimisering op EU-infrastructuur plaatsvinden en alleen geanonimiseerde inhoud naar de geselecteerde AI-modellen wordt gestuurd; mislukt die privacycontrole, dan wordt niets doorgestuurd (zie de Semantic Privacy Shield). Dit is een beschrijving van ontwerp en architectuur, geen juridische garantie. Met Vera Office kunnen documenten binnen dezelfde beveiligde omgeving worden bekeken en bewerkt.

Vera garandeert geen correctheid en elimineert geen hallucinaties. Wat een verificatieconsole wél kan, is de controle ondersteunen en meer zicht geven: laten zien welk model welke tabel of berekening genereerde, welke validatiestappen zijn doorlopen en waar iets is gecorrigeerd, en dat vastleggen voor audit en verantwoording. Het professionele eindoordeel over de cijfers blijft altijd bij de gebruiker.

← Alle artikelen