Automatische samenvattingen van juridische dossiers laten dragende argumenten weg: terugkoppeling naar de bron blijft nodig

Nee, niet als zelfstandige grondslag. Een peer-reviewed studie toont dat AI-samenvattingen van juridische documenten dragende argumenten weglaten, met vooral verlies van kwesties en redenen; gebruik synthese voor navigatie en voorbereiding, maar baseer een beslissing op onafhankelijke beoordeling van de volledige, traceerbare bron.

Onderzoekers presenteerden met het evaluatiekader Argument Representation Coverage (ARC) een methode die onderscheidt tussen feiten die ontbreken en feiten die verkeerd worden weergegeven, en die meet of een samenvatting de drie dragende onderdelen van een juridisch argument bewaart: de kwestie, de reden en de conclusie. Bij ruim duizend juridische uitspraken vormden argumentatieve passages slechts een klein deel van de brontekst maar het leeuwendeel van de referentiesamenvattingen. De geteste taalmodellen haalden voor juridische documenten een duidelijk lagere dekking dan menselijke samenvattingen. De studie over de getrouwheid van juridische samenvattingen rapporteert dat weglating de dominante foutcategorie was en dat modellen conclusies beter behielden dan kwesties en redenen.

Dat is geen detail. Onze lezing: een vloeiende samenvatting kan door het stilzwijgend weglaten van beperkingen, uitzonderingen of redenen de betekenis van een conclusie veranderen. Onze redactionele beoordeling is daarom dat het grootste integriteitsrisico bij lange dossiers niet per se een spectaculair verzonnen feit is, maar een vloeiende samenvatting die een beperking, uitzondering of onderliggende reden stilletjes weglaat en daarmee de betekenis van de conclusie verandert.

Wat stelde de ARC-studie vast over AI-samenvattingen van juridische documenten?

De ARC-studie meet of een samenvatting de argumentstructuur van een juridisch document behoudt. De kernbevinding: argumenten zijn schaars verdeeld over de brontekst, modellen behouden conclusies relatief goed en missen juist vaker de kwesties en redenen die een conclusie dragen. Weglating, niet verdraaiing, was de meest voorkomende fout.

Een aanvullende ACL-studie onderzoekt een technisch mechanisme dat bij lange-contextsamenvatting tot bronafdrijven kan bijdragen. Bij lange-contextsamenvatting onder cachecompressie kan het model tijdens het genereren geleidelijk minder op de brontekst letten en meer op zijn eigen al geproduceerde tekst; agressieve compressie van het contextgeheugen verhoogde in hun experimenten de mate van afdrijven van de bron fors. Naar onze inschatting verdient één nuance nadruk: die cijfers zijn gebonden aan specifieke modellen, datasets en methodes en laten zich niet zonder meer vertalen naar iedere toepassing of infrastructuur. Het mechanisme is relevant; het exacte getal is dat niet buiten die opstelling.

Waarom verandert het weglaten van kwesties en redenen de betekenis van een dossier?

Onze analyse is dat een juridische of beleidsmatige conclusie haar betekenis kan verliezen wanneer de kwestie, voorwaarden, uitzonderingen of redenen die haar dragen ontbreken. Het weglaten daarvan kan een feitelijk onjuist beeld geven, ook wanneer afzonderlijke zinnen in de samenvatting op zichzelf correct zijn. Een samenvatting die de conclusie keurig weergeeft maar de voorwaarde, de uitzondering of het tegenargument weglaat, geeft zo een vertekend beeld van het dossier.

Dat is het verraderlijke aan weglating als dominante fout: er is geen zichtbare onwaarheid om op te sporen. Een reviewer die alleen de samenvatting leest, mist precies wat niet in de samenvatting staat. Dit raakt direct aan de bredere praktijk van AI in de beroepspraktijk en de grenzen van ondersteuning: juist bij consequentiële dossiers is de ontbrekende passage vaak de passage die de uitkomst zou hebben gekanteld.

Wanneer blijft een AI-samenvatting ondersteunend en wanneer wordt zij de dragende grond voor een beslissing?

Twee overheidsbronnen trekken hier dezelfde grens. Het Australische Department of Industry, Science and Resources verklaart dat het AI inzet voor samenvatten, analyse en het terugvinden van informatie, maar dat medewerkers de output vóór gebruik beoordelen en als concept of startpunt behandelen, niet als zelfstandige basis voor een beslissing. De verantwoordelijkheid voor advies en besluit blijft bij de medewerker.

De richtlijn van de U.S. Office of Personnel Management over AI in federale werving gaat een stap verder en maakt de grens toetsbaar. Een AI-samenvatting is pas niet de beslissende grondslag wanneer een bevoegde functionaris de volledige onderliggende documentatie onafhankelijk beoordeelt, de uitkomst daaraan toetst en de beslissing op identificeerbaar bronmateriaal baseert. De richtlijn waarschuwt expliciet dat een formele handtekening onvoldoende is wanneer de functionaris in de praktijk slechts de AI-redenering overneemt; dan levert de AI-output alsnog de dragende grond.

Dat legt een vraag bloot die geen van beide bronnen beantwoordt: hoe stel je vast of iemand de bron echt onafhankelijk heeft beoordeeld, en niet stilzwijgend de samenvatting heeft overgenomen? Onze redactionele gevolgtrekking: zonder expliciete vastlegging van de bronpassages die een beslissing dragen, is achteraf niet vast te stellen of de beoordeling onafhankelijk was. De traceerbaarheid van de dragende passages is daarmee geen administratieve formaliteit, maar een belangrijke manier om onafhankelijke beoordeling aantoonbaar en achteraf controleerbaar te maken.

Wat betekent dit voor bestuurders, juristen en CISO's die dossiers laten samenvatten?

Onze analyse: omdat modellen systematisch kwesties en redenen weglaten, loopt elke jurist of bestuurder die uitsluitend op een samenvatting beslist het risico de dragende voorwaarde van een dossier te missen; daarom moet een consequentieel besluit worden geblokkeerd zolang de reviewer alleen de samenvatting kan zien. Omdat weglating de dominante fout is en niet opvalt bij lezing van de samenvatting zelf, helpt tekstuele controle van de samenvatting onvoldoende; daarom moet een tweede reviewer steekproefsgewijs teruggaan naar de brontekst om specifiek naar weglatingen te zoeken. Omdat lange-contextverwerking in specifieke opstellingen risico’s voor brontrouw kan creëren, is onze aanbeveling om ook het midden van omvangrijke dossiers expliciet te controleren en niet alleen op begin en eind te vertrouwen; de aangeleverde studies tonen echter niet aan dat het risico daar noodzakelijk het grootst is. Omdat de OPM-richtlijn waarschuwt dat een formele goedkeuring onvoldoende is wanneer de beslissing niet werkelijk op identificeerbaar bronmateriaal rust, volstaat een losse akkoordknop niet; daarom moet een organisatie per claim of argumentrol vastleggen welke bronpassage die claim draagt, zodat de onafhankelijke beoordeling later reconstrueerbaar is.

Als samenvatting van die analyse, een concreet protocol:

• Bewaar de originele documenten en versies naast elke synthese.
• Laat de synthese per claim of argumentrol verwijzen naar de bronpassage waarop zij steunt.
• Markeer onzekerheid, ontbrekende stukken en tegenargumenten uitdrukkelijk in de synthese.
• Test het midden van lange documenten expliciet op weggelaten kwesties en redenen.
• Laat een tweede reviewer steekproefsgewijs op weglating controleren, niet alleen op verdraaiing.
• Blokkeer consequentiële besluiten wanneer de reviewer alleen de samenvatting ziet of de bronnen niet traceerbaar zijn.

Deze lijn sluit aan bij wat rechtbanken al vaststellen over de verificatieplicht bij AI-citaten in juridische stukken en bij de toetsbare eisen aan menselijke controle bij AI-besluiten. Onze aanbeveling: teams die AI inzetten voor contract- en dossieranalyse moeten deze werkwijze opnemen in hun validatie van AI-contractanalyse in juridische teams, zodat de samenvatting een navigatiehulpmiddel blijft en de bron de beslissing draagt.

Bronnen: Het artikel steunt op de ARC-studie op arXiv, een ACL-studie over lange-contextsamenvatting en officiële richtlijnen van het Australische Department of Industry, Science and Resources en de U.S. Office of Personnel Management.