Een compacte samenvatting van een dik dossier oogt geruststellend: het model heeft honderd pagina's teruggebracht tot een handzame tekst, met keurige scores op de gangbare kwaliteitsmetrieken. Maar meerdere recente 2026-studies op ACL/Findings en arXiv beschrijven dat die geruststelling misleidend kan zijn. In de onderzochte long-document- en lange-contextsettings slaan modellen vaker kernclaims over, verwarren ze details uit de context of voegen ze feiten toe die er niet stonden — en juist die fouten worden door klassieke evaluatiescores in deze long-documentcontexten onvoldoende zichtbaar gemaakt.
De aanleiding voor dit stuk is PROBE: PROcess-Based BEnchmark for Hallucination Detection. Dit werk breekt met het idee dat betrouwbaarheid van een samenvatting in één eindcijfer te vatten is. In plaats daarvan wordt samenvatten expliciet behandeld als een verificatieprobleem met meerdere stappen: het opsplitsen van claims (claimdecompositie), het vinden van het juiste bronbewijs, het beoordelen van dat bewijs, en het lokaliseren van hallucinaties. De studie rapporteert dat huidige modellen vooral moeite hebben met het vinden van juiste bronpassages en het lokaliseren van hallucinaties. Dit wijst erop dat het kunnen vinden van juiste bronpassages en het lokaliseren van hallucinaties cruciale onderdelen zijn van verificatie.
Klassieke metrieken worden minder betrouwbaar bij lange documenten
Dat proceszicht is geen luxe. In Stress Testing Factual Consistency Metrics for Long-Document Summarization testen onderzoekers zes gangbare, reference-free factuality-metrieken op long-form benchmarks in fictie, juridische en wetenschappelijke domeinen. Het paper beschrijft dat deze metrieken inconsistente scores geven voor samenvattingen die inhoudelijk gelijkwaardig zijn, en dat ze vooral minder betrouwbaar blijken bij informatiedichte claims die sterk op meerdere bronpassages lijken.
Voor de praktijk wijst dit op iets ongemakkelijks. Een rapport, vonnis of beleidsnota van tientallen pagina's kan een nette, compacte samenvatting krijgen met hoge scores, terwijl cruciale uitzonderingen of contextverschuivingen ongemerkt zijn verdwenen. De metrieken die vaak worden gebruikt om te bepalen of een samenvatting "goed genoeg" is, blijken in long-documentcontexten minder stabiel en kunnen samenvattingen met gelijke inhoud verschillend beoordelen. Naar onze inschatting onderschat wie op zulke scores leunt daardoor de feitelijke fouten.
Van één samenvatting naar controleerbare claims
Tegenover dit probleem staat een groeiende reeks technieken om hallucinaties op claimniveau op te sporen. Hallucination Detection in Long-Form Text Generated by LLMs introduceert de LHD-benchmark en een aanpak met een hyper-relationele kennisgraaf (HRKG-HD). Die introduceert een aanpak die hallucinaties in lange, feitrijke teksten systematisch probeert op te sporen via multi-hop relationele redenering. De boodschap is dat long-form hallucinatiedetectie als onderzoekslijn concreet meetbaar wordt gemaakt: samenvattingen kunnen worden ontleed in afzonderlijke feiten en relaties, die vervolgens tegen bronsegmenten worden gehouden — in plaats van een hele tekst als één blok te vertrouwen of te wantrouwen.
Ook multimodaliteit lost het probleem niet vanzelf op. MMLDSum-LLM presenteert met MMLDSum-Bench een benchmark waarin tekst en beeld samen voorkomen, over verschillende domeinen en contextlengtes. Ook multimodale modellen blijven problemen houden met key-information coverage en cross-modal factual consistency in de geëvalueerde settings. Voor dossiers die tekst, tabellen en illustraties combineren, wijst dit er naar onze analyse op dat extra verificatielagen wenselijk zijn voor de afstemming tussen beeld en tekst — een groter contextvenster is geen garantie.
Normatieve documenten worden het hardst geraakt
Waar het echt spannend wordt, bespreekt de studie Summarising Regulations: An Empirical Study of Long-Document Summarisation Methods under Extreme Compression. Bij beleids- en juridische teksten die sterk moeten worden ingekort, rapporteert het paper dat systematisch informatie verloren gaat. Retrieval-augmented varianten presteren daarbij niet altijd beter dan klassieke interne-structurerings- en semantische chunking-methoden. Het onderzoek laat zien dat bij extreme compressie belangrijke normatieve details, waaronder uitzonderingen, voorwaarden en definities, kunnen verdwijnen of verschuiven.
Dat onderstreept waarom een samenvatting op zich geen betrouwbare vervanger is voor de brontekst. Naar onze inschatting is voor wie werkt met contracten, wetgeving of compliance-rapporten verificatie op artikel- en clausuleniveau geen overbodige stap, maar een verstandige voorwaarde.
Samenvattingen als voorlopige narratieven
De rode draad door deze bronnen is naar onze analyse dezelfde: bij lange documenten is betrouwbaarheid geen enkele score, maar een proces dat zichtbaar en herleidbaar moet zijn. Op basis van deze studies is het naar onze inschatting verstandig AI-samenvattingen te behandelen als voorlopige narratieven in plaats van als afgeronde dossierstukken. Ze worden pas bruikbaar wanneer duidelijk is welke brondelen zijn samengevat, hoe elke claim is te herleiden naar een paragraaf of artikel, welke hallucinatiedetectie is toegepast en waar menselijke review nodig blijft.
Hier ligt naar onze inschatting de rol van een verificatieconsole zoals I am Vera. Vera is geen taalmodel en geen chatbot, maar een verificatielaag voor professionals die met vertrouwelijke informatie werken. De workflow is ontworpen om documenten op EU-infrastructuur voor te bewerken en te anonimiseren vóórdat inhoud aan de geselecteerde AI-modellen wordt aangeboden via de Semantic Privacy Shield; de workflow is fail-closed, dus mislukt die privacycontrole, dan wordt niets doorgestuurd. Door een taak via meerdere geselecteerde modellen te laten verlopen en verificatiestappen zichtbaar te maken, kan Vera helpen om samenvattingen niet als eindpunt maar als controleerbaar tussenproduct te behandelen.
Vera elimineert geen hallucinaties en garandeert geen correctheid of waarheid. Wat het wel ondersteunt, is meer zicht op de keten: welke bron, welke claim, welke controle. Het onderzoek van 2026 maakt naar onze analyse duidelijk dat dat zicht geen overbodige zorgvuldigheid is, maar past bij verantwoord AI-gebruik bij lange, gevoelige documenten. Het professionele eindoordeel en de uiteindelijke beslissing blijven daarbij altijd bij de gebruiker, die de samenvatting pas als betrouwbaar dossierstuk accepteert nadat de claims tegen de bron zijn gehouden.