Chirurgen volgden 60,6% van foute AI-adviezen: maak toezicht meetbaar

Een peer-reviewed studie liet chirurgen 60,6% van de bewust foute AI-suggesties volgen, dus een medewerker aan het eind van de keten is geen betrouwbare correctielaag. Behandel automatiseringsbias als meetbaar systeemrisico: maak AI-advies betwistbaar, registreer overrides en test toezicht met opzettelijk foute adviezen.

Op 6 november 2026 publiceerde het tijdschrift Surgical Endoscopy de studie The surgeon in the loop. In een gecontroleerd experiment met negentien chirurgen werd 60,6% van de opzettelijk incorrecte AI-suggesties gevolgd; correcte suggesties werden in 76,9% van de gevallen gevolgd. De auteurs concluderen dat menselijk toezicht empirisch moet worden gemeten en ontworpen, niet verondersteld.

Dat is het kernpunt voor iedereen die AI-advies inbouwt in een beslissing met gevolgen. De aanwezigheid van een deskundige die tekent, betekent niet dat fouten worden gecorrigeerd. Naar onze inschatting is dit cijfer geen universele foutmarge voor professionals, maar wel een hard bewijs dat de menselijke stap in de keten niet vanzelf werkt.

Wat vond de chirurgiestudie precies en waarom is dat relevant buiten de operatiekamer?

De onderzoekers legden ervaren chirurgen in een gecontroleerd experiment AI-suggesties voor waarvan een deel bewust fout was. Ruim drie op de vijf foute suggesties werden toch gevolgd, terwijl de studie ook veranderingen in het zelfvertrouwen van deelnemers rapporteerde. De setting is de operatiekamer. Naar onze analyse wijst dit op een breder mechanisme dat ook buiten die setting speelt: mensen neigen ertoe op een geautomatiseerd advies te vertrouwen. De studie zelf toont dat echter alleen voor deze gecontroleerde chirurgische context.

Dit verschijnsel heet automatiseringsbias. Naar onze analyse kan hetzelfde risico relevant zijn voor andere professionals die onder druk AI-aanbevelingen beoordelen, zoals juristen, artsen en analisten; de aangeleverde studie toont dat echter niet buiten de onderzochte chirurgische context. Voor juridische of medische besluitvorming betekent dit dat u AI-output zelf moet controleren op bronniveau. De studie is de concrete trigger, maar het probleem speelt naar onze analyse overal waar AI-advies in een werkstroom zit.

Wat is het verschil tussen formeel en betekenisvol menselijk toezicht op AI?

Formeel toezicht is een handtekening, een reviewknop of een toegewezen medewerker. Betekenisvol toezicht vereist dat die beoordelaar tijd, expertise, broninformatie, bevoegdheid en een reële mogelijkheid heeft om het advies te verwerpen. Naar onze inschatting is de menselijke stap zonder die voorwaarden vooral decoratie.

Een systematische review van 28 studies, gepubliceerd via de ACM, beschrijft dat organisatieontwerp bepaalt welke kant het opgaat. Zodra een aanbeveling een standaardkeuze of een verplichte workflowstap wordt, kan menselijke verantwoordelijkheid formeel blijven bestaan terwijl de feitelijke ruimte om af te wijken verdwijnt. De review beschrijft hoe beperkte interpreteerbaarheid, automatiseringsbias en organisatorische prikkels die kritiek ontmoedigen ertoe kunnen bijdragen dat toezicht procedureel blijft. Vergelijk dit met de vaststelling dat een bestuurder aansprakelijk blijft ondanks een AI-samenvatting: de verantwoordelijkheid verschuift niet mee met de automatisering.

Welke concrete maatregelen maken toezicht op AI-advies echt controleerbaar?

De Europese Toezichthouder voor gegevensbescherming (EDPS) publiceerde in mei 2026, primair voor EU-instellingen, organen, bureaus en agentschappen, een checklist voor menselijk toezicht op geautomatiseerde besluitvorming. Het is een zelfbeoordelingsinstrument, geen formele compliancecertificering, maar naar onze inschatting biedt het ook andere organisaties een praktisch referentie- en toetsingskader doordat het toezicht vertaalt naar concrete organisatorische toetsingspunten. Belangrijke bouwstenen die de checklist beschrijft:

• Presenteer AI-output als betwistbaar advies, niet als standaardkeuze, en toon de onzekerheid en de onderliggende redenen.
• Overweeg of verplicht onafhankelijke vierogencontrole bij hoog-risicobesluiten passend is en leg die verplichting vast waar de risicobeoordeling dat rechtvaardigt.
• Registreer afwijkingen, overrides en escalaties en meet foutdetectie, overridefrequentie en reactietijd als KPI's.
• Geef aangewezen personen formele stop-the-line-bevoegdheid om een proces te onderbreken.
• Test beoordelaars periodiek met geïnjecteerde, opzettelijk foute adviezen om alertheid te toetsen.
• Begrens de werkbelasting zodat snelheid of managementdruk kritiek niet ontmoedigt.

De open vraag die de bronnen niet beantwoorden, is hoe u deze controles invoert zonder er zelf nieuwe bias of werkdruk mee te creëren. Naar onze inschatting ligt het antwoord in terughoudendheid: pas de zwaarste controles alleen toe op besluiten met reële gevolgen en houd de meting licht genoeg om geen afvinkritueel te worden. Een overridelogboek dat niemand leest, is naar onze analyse weer een formele laag.

Wat betekent dit nieuws voor bestuurders, juristen en CISO's?

Onze analyse: omdat ervaren professionals in dit experiment ruim de helft van de foute AI-adviezen bleken te volgen, is de aanname dat een menselijke eindcontrole fouten betrouwbaar wegvangt niet houdbaar zonder aanvullend bewijs dat de controle in de betreffende context daadwerkelijk werkt; daarom adviseren wij de verantwoordelijke bestuurder om nu te laten vaststellen bij welke besluiten AI-advies een standaardkeuze is geworden en die presentatie terug te draaien naar expliciet betwistbaar advies. Omdat de ACM-review beschrijft dat governance de feitelijke beslisautoriteit configureert, verschuift het risico naar onze inschatting naar de inrichting van de werkstroom en niet naar het model; daarom adviseren wij de CISO of proceseigenaar om override, escalatie en reactietijd als meetbare KPI's in te richten en de beslislogs periodiek te auditen. Omdat artikel 14 van de EU AI Act menselijke toezichthouders verplicht in staat te stellen zich bewust te blijven van de neiging om automatisch of overmatig op AI-output te vertrouwen, en overreliance als risico binnen menselijk toezicht benoemt, zoals een analyse in de European Journal of Risk Regulation uitwerkt, kan naleving volgens die analyse niet worden gereduceerd tot een waarschuwing of training; daarom adviseren wij de jurist om in contracten met leveranciers vast te leggen welke contextgevoelige maatregelen de aanbieder en de afnemer elk nemen. Dat is ons praktische advies op basis van de beschreven verdeling van verantwoordelijkheid, niet een rechtstreeks door de analyse voorgeschreven contracteis. Omdat de EDPS scenario-gebaseerde tests met opzettelijk foute adviezen beschrijft, en een plausibel ogend AI-advies nog geen juist advies is, adviseren wij elke organisatie die consequentiale besluiten ondersteunt om zulke tests in te plannen en de uitkomsten vast te leggen voordat een toezichthouder of rechter ernaar vraagt. Zie ook het themahub over AI-governance en menselijk toezicht en hoe de EDPB anonimiteit toetst op isolatie, koppeling en inferentie bij AI-gedreven gegevensverwerking.

Kort samengevat volgt naar onze analyse uit dit nieuws een concrete agenda: breng in kaart waar AI-advies een default is geworden, maak dat advies betwistbaar, meet overrides, verdeel de verantwoordelijkheid contractueel en test het toezicht met bewust foute adviezen. Wie dat nalaat, houdt naar onze inschatting een handtekening over die weinig corrigeert.

Bronnen: Het artikel steunt op de studie in Surgical Endoscopy, een ACM-review, een analyse in de European Journal of Risk Regulation en de EDPS-checklist voor menselijk toezicht.