METR en Redwood Research vonden blinde vlekken in OpenAI's agentmonitoring

Elke externe toolcall van een AI-agent vergroot zijn feitelijke bevoegdheden en kan data lekken of blijvende wijzigingen maken. Begrens daarom per tool het doel, geef de agent kortlevende least-privilege-rechten, isoleer de uitvoering en test ook de monitor en noodstop zelf; promptinstructies alleen zijn geen verdedigbare grens.

Op 22 oktober 2026 publiceerden METR en Redwood Research een onafhankelijke red-teambeoordeling van OpenAI's interne agentmonitoring. Zij rapporteerden onder meer onbewaakte compaction-events (momenten waarop de context van een agent wordt samengevoegd), mogelijke omzeiling van sandboxing en Auto-Review, serialisatieverschillen die monitoring kunnen laten falen, uitschakelbare monitoringheaders en tools die buiten het zicht van de monitor bleven. De bevindingen betroffen een historisch intern systeem; OpenAI stelde later patches te hebben aangebracht, maar METR heeft die claims niet geëvalueerd.

Gebruik dit niet als bewijs dat elke agent onveilig is. De gebeurtenis laat iets specifiekers zien: zelfs de controlelaag rond een autonome agent kan ongedekte paden bevatten. Een externe toolcall activeert een controleketen die zelf getest moet worden.

Wat stelden METR en Redwood Research precies vast over agentmonitoring?

METR en Redwood Research vonden in een historisch intern monitoringsysteem van OpenAI concrete blinde vlekken: contextovergangen die niet werden bewaakt, monitoringheaders die uitschakelbaar waren, en tools die niet onder de controle vielen. Zij toonden ook aan dat de monitor zelf een aanvalsvlak vormt, geen neutrale waarnemer.

Dat sluit aan op een breder patroon. Een analyse waarvan een verkorte versie als short paper voor IEEE COMPSAC 2026 is geaccepteerd, Security Risks in Tool-Enabled AI Agents, beschrijft hoe agenten in geprivilegieerde omgevingen via API-, shell- en CI/CD-tools externe systemen kunnen lezen of wijzigen, en hoe fouten, promptinjecties, verkeerde toolkeuzes en foutieve parameters kunnen leiden tot datalekken, ongeautoriseerde acties en blijvende wijzigingen. De experimentele percentages in dat onderzoek gelden uitsluitend voor de beschreven kleinschalige testopstelling en zijn geen algemene incidentfrequenties.

Waarom vergroot een externe toolcall de bevoegdheden van een AI-agent?

Een toolcall is geen antwoord maar een handeling. De academische analyse identificeert drie mechanismen waardoor die handeling verder reikt dan bedoeld: capability-intent mismatch (de tool kan meer dan de taak vraagt), ambient authority (de agent erft rechten uit zijn omgeving zonder expliciete grens) en tool chaining (acties die elkaar opstapelen tot een effect dat niemand losstaand zou goedkeuren).

Naar onze inschatting is dit het punt waarop modelveiligheid tekortschiet. Een promptinstructie leeft binnen het model; de bevoegdheid om een database te wijzigen of een deploy te starten leeft erbuiten, in de credential en het netwerk. Wie alleen de prompt beveiligt, laat de werkelijke bevoegdheid onbeheerst. Dat verband trekt ook het UK National Cyber Security Centre in zijn richtlijn over de cyberrisico's van agentische AI: modelinterne safeguards mogen niet als volledige beveiliging worden behandeld, omdat ze kunnen worden omzeild.

Welke vier lagen beheersen een externe functieaanroep aantoonbaar?

De centrale vraag is of uw organisatie kan aantonen dat iedere externe functieaanroep binnen de bedoelde bevoegdheid bleef en dat een fout of manipulatie tijdig wordt gestopt. Vier lagen, deels ontleend aan de NCSC-richtlijn, maken dat verdedigbaar:

• Definieer per tool het toegestane doel. Leg het inputschema, de dataclassificatie, het effect en de omkeerbaarheid vast. Een tool die iets onomkeerbaars doet, verdient een strengere grens dan een leesactie.
• Geef de agent een unieke identiteit met kortlevende, niet-overdraagbare least-privilege-credentials en dwing de autorisatie af buiten het model, niet in de prompt.
• Isoleer uitvoering en netwerkverkeer met sandboxing, allowlists (expliciet toegestane bestemmingen), rate limits en invoervalidatie, met menselijke goedkeuring waar een call gevoelige data kan onthullen of duurzame gevolgen heeft.
• Registreer model-, agent-, tool-, credential-, parameter-, resultaat-, fout- en goedkeuringsgegevens in beschermde, onveranderbare logs en test periodiek ook de monitor, de router, de approval gate en de noodstop zelf.

Die eis volgt uit de combinatie van de METR-bevindingen en de NCSC-richtlijn: omdat controles en toolpaden zelf blinde vlekken kunnen hebben, moet een noodstop volgens onze analyse niet alleen het agentproces, maar waar nodig ook de communicatie met model- en toolinfrastructuur kunnen onderbreken. Voor de opbouw van zo'n incident-responsdraaiboek voor een AI-agent is het verschil tussen procesonderbreking en volledige containment bepalend.

Wat betekent dit voor bestuurders, juristen en CISO's die verantwoording moeten dragen?

Onze analyse: omdat de monitor zelf aantoonbaar kwetsbaar kan zijn, is modelgedrag geen betrouwbaar controlepunt meer; daarom moeten auditors en compliance officers de toolcall zelf — met zijn autorisatie, parameters en resultaat — als primair controlepunt behandelen in plaats van de uitleg van het model. Omdat de werkelijke bevoegdheid in de credential en het netwerk ligt en niet in de prompt, verschuift de verantwoording voor een AI-beslissing naar wie de autorisatie- en logginginfrastructuur beheert; daarom moet een CISO nu per agent vastleggen wie de credentials uitgeeft, intrekt en herziet, en op welke termijn. Omdat tool chaining effecten kan opstapelen die niemand losstaand zou goedkeuren, loopt een bestuurder het risico een uitkomst te verantwoorden die uit een reeks op zichzelf onschuldige stappen ontstond; daarom hoort in het inkoop- of ontwikkeltraject nu een clausule die een onafhankelijke, buiten de agent geplaatste noodstop en onveranderbare logging eist. Naar onze analyse is een niet-reconstrueerbare toolketen een potentieel beheersings- en auditrisico; een jurist moet afzonderlijk beoordelen of dat in de concrete context ook tot een nalevingsrisico leidt. De in dit artikel beschreven eisen aan logging, menselijk toezicht en traceerbaarheid sluiten aan bij technische beheersmaatregelen die voor hoogrisicosystemen relevant kunnen zijn; een jurist moet afzonderlijk toetsen welke verplichtingen de EU AI Act (Verordening (EU) 2024/1689) in de concrete context oplegt. Daarom moet het beslisrecord aan de technische gebeurtenis gekoppeld zijn en niet alleen een plausibele uitleg bevatten.

In het kort, als samenvatting van die analyse:

1. Behandel de toolcall, niet de modeluitleg, als het punt waarop u verantwoording aflegt.
2. Leg per agent vast wie credentials uitgeeft, intrekt en herziet.
3. Eis contractueel een externe noodstop en onveranderbare logging.
4. Toets of de volledige toolketen reconstrueerbaar is, zoals red teaming van AI-agents inclusief de monitor dat afdwingt.

Deze vier lagen horen bij de bredere beheersing van agentische AI en AI-agents, waarin niet het model maar het hele systeem het object van toezicht is.

Bronnen: Het artikel steunt op de red-teambeoordeling van METR en Redwood Research, een IEEE COMPSAC-analyse op arXiv en de richtlijn van het UK National Cyber Security Centre.