Vertrouw niet op de tool-interface alleen: benchmarks uit 2025-2026 laten zien dat toonaangevende juridische AI-tools nog in 15 tot 35 procent van realistische zoekopdrachten hallucineren of het recht verkeerd weergeven. Richt daarom een aparte verificatielaag in die vondst scheidt van validatie, citaten en status tegen primaire bronnen controleert en menselijke goedkeuring vastlegt.
De aanleiding is een discussie op vakblog Artificial Lawyer over de vraag of gespecialiseerde juridische AI-tools inmiddels een aparte verificatielaag nodig hebben om accuraat en relevant te blijven in dossiers met hoge inzet. Die vraag is niet abstract meer: recent, onafhankelijk benchmarkonderzoek geeft er concrete cijfers bij. Dit artikel vertaalt die bevindingen naar een praktische keuze voor general counsel, kennismanagers en bibliothecarissen.
Hoe vaak hallucineren juridische AI-tools volgens de benchmarks van 2025-2026?
In de studie Benchmarking Legal RAG meet het Stanford RegLab hallucinatie- en foutpercentages bij op maat gebouwde juridische tools zoals Lexis+ AI, Westlaw AI-Assisted Research en Ask Practical Law AI, naast een GPT-4-baseline. De uitkomst: deze producten hallucineren of antwoorden onjuist in ongeveer 17 tot 33 procent van de onderzochte zoekopdrachten, ook op gestructureerde wettelijke taken.
De guide AI Hallucination Rates in Legal Tools van AI Vortex aggregeert recente sector- en Stanford-data en constateert dat de accuraatheid van juridische AI-tools op complexe taken rond de 60 tot 65 procent blijft steken. Juridisch-specifieke tools presteren dus beter dan algemene modellen, maar een aanzienlijk deel van de antwoorden blijft fout.
Belangrijke nuance: dat zijn resultaten uit gecontroleerde tests met vaste vraagstellingen. In de dagelijkse praktijk variëren vragen sterker; dat kan de foutmarge in sommige contexten vergroten, al valt dat niet uit deze benchmarks rechtstreeks af te leiden.
Waarom is 'beter dan een jurist' nog niet betrouwbaar genoeg voor hoog-vertrouwenwerk?
LawNext bericht over de Vals AI-benchmark, waarin zowel juridisch-specifieke als algemene AI-systemen ongeveer 80 procent accuraatheid haalden en op sommige onderzoekstaken menselijke juristen overtroffen. Dat is een reëel resultaat, maar het betekent tegelijk dat het systeem in grofweg één op de vijf zoekopdrachten fout zit.
Naar onze redactionele inschatting is dat precies het risico: als een tool aantoonbaar beter is dan een junior medewerker, ontstaat de verleiding om minder te controleren. Juist in werk met hoge inzet — hoger beroep, toezichtadvies, grensoverschrijdende opinies — is een restfout van deze omvang te groot om blind op een interface te vertrouwen. De herkenning van verouderde AI-antwoorden en achterhaalde wetgeving hoort daar ook bij: een overtuigend geformuleerd antwoord kan op verjaard recht rusten.
Wat doet een verificatielaag boven Lexis, Westlaw of vergelijkbare juridische AI-tools precies?
LegalAIInsights beschrijft in het artikel AI in the Legal Field een gestructureerd verificatieprotocol boven bestaande tools. Vertaald naar een werkbare laag komt dat neer op de volgende stappen:
- Scheid vondst van validatie. Gebruik de AI om kwesties te signaleren en kandidaat-autoriteit te vinden, maar behandel dat resultaat niet als eindantwoord.
- Controleer elke citatie tegen een primaire bron. Bestaat de aangehaalde uitspraak of bepaling werkelijk en klopt de vindplaats?
- Toets de propositie. Staat de zaak daadwerkelijk voor wat eraan wordt toegeschreven, of is de strekking vertekend?
- Controleer de actuele status. Is de uitspraak niet vernietigd, achterhaald of vervangen?
- Leg de goedkeuring vast. Registreer wie wat wanneer heeft geverifieerd en op welke bron.
De verificatielaag is dus geen extra tool, maar een governance-workflow die zichtbaar maakt hoe een AI-vondst een gecontroleerde autoriteit wordt. Meer achtergrond bij dit denken vindt u in onze themahub over AI-verificatie en controleerbare workflows.
Hoe voert u die verificatielaag in zonder uw bestaande tools weg te gooien?
De benchmarks pleiten niet tegen Lexis, Westlaw of vergelijkbare juridische AI-tools; ze pleiten voor een discipline eromheen. Een praktische route:
- Blijf AI inzetten voor issue spotting en het vinden van kandidaat-autoriteit, waar de snelheidswinst het grootst is.
- Maak een verificatieprotocol verplicht voor elke autoriteit die in een processtuk, memo of advies belandt.
- Codeer dat protocol in onderzoeks-checklists en dossiersjablonen, zodat controle standaard is in plaats van ad hoc.
- Log per workflow welke tool is gebruikt, welke citaten en proposities zijn geverifieerd en wie heeft afgetekend.
Deze aanpak sluit aan bij bredere controle van juridische AI-workflows per taak en bij het beoordelen of AI-citaties werkelijk bestaan en kloppen. Het eindoordeel blijft bij de jurist; de laag maakt dat oordeel navolgbaar.
Welke rol kan een verificatieconsole zoals Vera hierin spelen?
De redactionele kern van dit stuk zit niet in een product, maar in de vaststelling dat de cijfers een aparte, bestuurde verificatielaag rationeel maken. Waar zo'n laag baat heeft bij zichtbaarheid, kan een privacygerichte verificatieconsole ondersteunen. Vera is geen chatbot en geen eigen taalmodel, maar een verificatielaag die een taak door geselecteerde onafhankelijke AI-modellen kan routeren en verificatiestappen, correcties, meningsverschillen en bronnen zichtbaar maakt voor inspectie.
Dat geeft meer zicht op welke tools zijn gebruikt en welke citaten en proposities tegen welke bronnen zijn nagelopen, en waar menselijke goedkeuring het eindresultaat verankerde. Voor gevoelige dossiers is de workflow ontworpen om alleen geanonimiseerde inhoud naar de gekozen modellen te sturen; bij een mislukte privacycontrole wordt niets doorgestuurd. Vera garandeert geen juistheid en neemt hallucinaties niet weg — het maakt de controle zichtbaar, zodat het professionele eindoordeel bij de gebruiker kan blijven.
Bronnen en referenties
Bronnen: Het artikel steunt op de Stanford RegLab-benchmark, de Vals AI-benchmark via LawNext, en praktijkanalyses van LegalAIInsights en AI Vortex.