Benchmarks tonen structurele rekenfouten van AI in financiële spreadsheets: splits extractie, berekening en controle

Nee. Recente benchmarks tonen dat generatieve AI financiële spreadsheets niet betrouwbaar zelfstandig kan lezen, berekenen of herstellen; de prestaties zakken sterk bij meerdere werkbladen en samengestelde berekeningen. Gebruik AI daarom alleen om gegevens te structureren en dwing de cijfers af met deterministische rekenfuncties, formulecontroles en menselijke goedkeuring.

De aanleiding is een reeks academische benchmarks die het vermogen van taalmodellen testen om financiële gegevens, spreadsheets en financiële staten te lezen en te berekenen. In FinSheet-Bench werden tien modelconfiguraties getest op financiële spreadsheets die zijn gemodelleerd naar private-equity-structuren. Het best presterende model haalde 82,4% nauwkeurigheid, maar bij complexe aggregaties kwam de nauwkeurigheid van de drie beste modellen niet verder dan 33,3%. De onderzoekers concluderen dat zulke standalone-modellen niet geschikt zijn voor onbewaakt gebruik in professionele financiële workflows, en adviseren documentbegrip te scheiden van deterministische berekening.

Dat signaal staat niet op zichzelf. Twee aanvullende studies bevestigen het patroon, en een peer-reviewed accountingstudie beschrijft risico's van onnauwkeurige generatieve-AI-inhoud in financiële rapportage, waaronder verkeerde bedragen of data.

Wat tonen de nieuwe benchmarks precies over AI en financiële spreadsheets?

Ze laten zien dat generatieve modellen structureel fouten maken zodra financiële tabellen verder gaan dan een enkele, overzichtelijke berekening. De fout zit niet alleen in optellen, maar ook in het lokaliseren van de juiste cellen en het herstellen van formules.

In SpreadsheetBench 2 werden acht frontier-modellen getest op 321 end-to-end spreadsheettaken, met gemiddeld 11,8 werkbladen en 593,5 celwijzigingen per taak. Het beste model haalde 34,89% taaknauwkeurigheid; het debuggen van bestaande formules kwam niet verder dan ongeveer 12%. De dominante fouten waren onvoldoende inspectie van het werkboek en het selecteren van verkeerde doelcellen. De resultaten sluiten aan bij eerdere benchmarks voor numeriek redeneren over financiële data; de nieuwe spreadsheetbenchmarks laten bovendien zien dat prestaties afnemen bij complexere werkboeken en meerstapsberekeningen.

Waarom falen generatieve modellen juist bij complexe, meerlaagse financiële tabellen?

Onze lezing van de benchmarks is dat prestaties afnemen wanneer tabellen afhankelijkheden, meerdere perioden of samengestelde metrieken bevatten. De studies rapporteren kwetsbaarheden in temporele uitlijning, structurele tabelverwerking en het ontbreken van formulehints; SpreadsheetBench 2 rapporteert daarnaast fouten bij het lokaliseren en wijzigen van doelcellen en formules.

De studie over financieel redeneren op lange financiële staten toont een duidelijke kennisbottleneck wanneer formulehints worden weggehaald en een structurele bottleneck bij tabellen met meerdere metrieken. Bij één getest model zakte de prestatie op table-tasks van 70,70% mét hints naar 38,22% zónder hints. Onze inschatting: meerjarige staten, geconsolideerde modellen en geschakelde berekeningen behoren tot de situaties waarin de benchmarks de grootste kwetsbaarheid laten zien.

De peer-reviewed studie Generative AI in Financial Reporting in de Journal of Accounting Research plaatst daar het gevolg bij: onnauwkeurige inhoud, zoals verkeerde bedragen of data, levert risico's op voor investeerders, rechtszaken en sancties. De studie rapporteert bovendien dat generatieve AI al voorkomt in financiële rapportage. Onze redactionele conclusie is daarom dat controle niet alleen een theoretische kwestie is, maar een actuele beheersingsbehoefte.

Wat betekent dit voor bestuurders, juristen en CISO's die AI inzetten op cijfers?

Onze analyse: omdat zelfs het best presterende model in FinSheet-Bench bij complexe aggregaties onder een derde nauwkeurigheid bleef, is onbewaakt gebruik van een losse chatbot voor kritieke financiële modellen onvoldoende beheerst; daarom hoort elke kritieke uitkomst door een deterministische rekenlaag te lopen voordat zij in een rapportage belandt. Onze analyse: omdat SpreadsheetBench 2 aantoont dat modellen verkeerde doelcellen selecteren en formules slecht debuggen, kunnen juristen en bestuurders een aantoonbaarheidsprobleem krijgen wanneer een foutieve post later in een jaarrekening of due-diligencedossier opduikt. Daarom adviseren wij de bron van elk getoond getal — werkblad, cel en formule — vanaf het begin vast te leggen en niet achteraf te reconstrueren. Omdat de accountingstudie onjuiste bedragen koppelt aan risico's zoals rechtszaken en sancties, is het volgens onze analyse noodzakelijk dat een bevoegde financiële professional uitzonderingen en kritieke uitkomsten formeel goedkeurt voordat cijfers extern worden gebruikt. De precieze verdeling van juridische verantwoordelijkheid hangt af van de toepasselijke regels en de concrete context. Onze analyse: omdat de prestaties sterk dalen zodra formulehints wegvallen, is het riskant om modeloutput onbewerkt naar downstream-systemen te laten stromen. Wij adviseren daarom een afwijking tussen model en rekenengine als procesblokkade te behandelen in plaats van als een vrijblijvende waarschuwing.

Dat vraagt om een gescheiden architectuur, niet om een groter taalmodel. Zie ook het juistheidsbeginsel van de AVG bij generatieve AI en, voor geketende verwerkingen, hoe fouten tussen gekoppelde AI-agents door een keten cascaderen.

Hoe richt ik een controleprotocol in dat betrouwbare cijfers afdwingt?

Laat het model data structureren, maar nooit de cijfers afdwingen. De rekenkundige waarheid komt uit deterministische code of een spreadsheet-engine, en de eindverantwoordelijkheid blijft bij een mens.

• Extractie scheiden van berekening. Laat AII eerst schema's, celwaarden en bronlocaties extraheren; laat het niet zelf optellen, middelen of ratio's uitrekenen.
• Deterministisch rekenen. Voer sommen, gemiddelden, medianen, ratio's en controles uit met vaste code of een rekenengine die bij dezelfde invoer altijd dezelfde uitkomst geeft.
• Identiteiten en afhankelijkheden controleren. Toets boekhoudkundige identiteiten en formuleafhankelijkheden automatisch, zodat een verkeerd gekozen doelcel direct opvalt.
• Bewijs vastleggen. Bewaar invoer, modelversie, tussenresultaten, gebruikte formules en elke afwijking, zodat een uitkomst later reconstrueerbaar is.
• Menselijke goedkeuring afdwingen. Laat een bevoegde financiële professional uitzonderingen en kritieke uitkomsten goedkeuren; maak dat een harde stap, geen formaliteit. Hoe u die controle toetsbaar maakt, beschrijft onze toelichting op menselijke controle bij AI-ondersteunde besluitvorming toetsbaar maken.

Een kanttekening bij het bewijs hoort erbij: FinSheet-Bench gebruikt synthetische data en een tekstweergave van spreadsheets, SpreadsheetBench 2 test binnen één specifieke agent-opzet en de studie over lange financiële staten is nog een preprint. De richting is daarmee robuust, de exacte percentages zijn gebonden aan de testopzet. Wie dieper op controleerbare AI-output wil ingaan, vindt meer in onze themahub over AI-verificatie en controleerbare output.

Bronnen: Het artikel steunt op de academische benchmarks FinSheet-Bench, SpreadsheetBench 2 en een studie over financieel redeneren op lange staten, plus een peer-reviewed studie in de Journal of Accounting Research.