Prompt injection bij AI-agents is ook een aansprakelijkheidsvraag: wie kon de bevoegdheid begrenzen?

Als een e-mail, webresultaat of document een AI-agent een interne beleidsregel laat negeren en een ongeautoriseerde actie laat uitvoeren, verschuift de aansprakelijkheidsvraag van het model naar de organisatie. Bepalend is of autoriteit, beleidsafdwinging, monitoring en bewijs los van de agent waren geregeld, zodat achteraf te tonen is wie de bevoegdheid gaf en kon begrenzen.

Op 30 april 2026 publiceerden de cyberveiligheidsautoriteiten van Australië, de Verenigde Staten, Canada, Nieuw-Zeeland en het Verenigd Koninkrijk (ASD ACSC, CISA, NSA, het Canadian Centre for Cyber Security, de New Zealand NCSC en de UK NCSC) gezamenlijk de richtlijn Careful adoption of agentic AI services. Daarin behandelen ze prompt injection, privilege-compromis en zogeheten confused-deputy-aanvallen, waarbij een agent zijn legitieme bevoegdheden gebruikt om een opdracht uit te voeren die hij eigenlijk niet had mogen uitvoeren, niet als losse modelfouten maar als samenhangende risico's met gevolgen voor verantwoording.

Wat stelden de multinationale cyberautoriteiten precies vast over prompt injection bij agents?

De autoriteiten stellen dat autonome agents gereedschappen, geheugen en externe gegevens gebruiken om zelfstandig te handelen, en dat kwaadaardige instructies verstopt in bijvoorbeeld e-mails of opgehaalde data een agent kunnen aansturen. Ze waarschuwen specifiek voor scope creep, voor ongeautoriseerde acties die in auditlogs legitiem lijken, en voor accountability-gaps. Ze dringen aan op onafhankelijke monitoring, menselijke goedkeuring bij acties met hoge impact, authenticatie tijdens uitvoering en duidelijk belegd risico-eigenaarschap. Prompt injection staat in bredere AI-securitydiscussies, zoals de door de OWASP Foundation beheerde lijst met toprisico's voor toepassingen met grote taalmodellen, al langer bovenaan als belangrijk risico.

Die technische aanvalsroute wordt onderbouwd door recent peer-reviewed onderzoek. In de Proceedings of MM '26 van de Association for Computing Machinery beschrijft het paper INSURE dat agents gekaapt kunnen worden door kwaadaardige instructies in opgehaalde webinhoud en in cross-modale invoer, dus niet alleen via de directe prompt van een gebruiker. Het paper levert een verdedigingsmethode tijdens uitvoering, maar zegt niets over juridische aansprakelijkheid; het biedt technische corroboratie voor de mogelijkheid van agent-hijacking via kwaadaardige instructies in opgehaalde webinhoud en cross-modale invoer.

Waarom verschuift de aansprakelijkheid van het model naar de organisatie?

De kwaadaardige instructie misleidt een kansrekenend model, maar de omvang van de schade wordt bepaald door keuzes van de organisatie: hoeveel bevoegdheid de agent kreeg, of die bevoegdheid tijdelijk of blijvend was, en of er per actie een onafhankelijke autorisatiecontrole was. Naar onze inschatting is dat het scharnierpunt: het bestaan van een promptinjectie op zich zegt weinig over verwijtbaarheid, maar het ontbreken van een vooraf ingerichte autoriteitsgrens zegt veel.

Het Global AI Ethics and Governance Observatory van UNESCO werkt die redenering uit in het artikel Who answers for the machine?. UNESCO betoogt dat verantwoordelijkheid niet mag oplossen in een keten van modelontwikkelaars, integrators en afnemers, maar herleidbaar moet blijven tot een natuurlijke persoon of rechtspersoon, en koppelt die verantwoordelijkheid aan operationele controle, verifieerbare auditlogs en traceerbare overdrachten. UNESCO waarschuwt ook dat menselijk toezicht kan verwateren tot het zetten van een handtekening zonder echte beoordeling.

Welke controles moeten los van de agent staan om aansprakelijkheid te kunnen dragen?

Het National Institute of Standards and Technology (NIST) vertaalt dit naar concrete ontwerpprincipes. In de blog Design Tenets for Agent Identity Management Systems stelt NIST dat guardrails binnen het model alleen niet volstaan en dat architecturale scheiding nodig is om prompt injection, privilege-escalatie en onbedoelde acties te beperken. De kern is dat de laag die beslist wat mag, niet dezelfde laag mag zijn die redeneert over wat gevraagd wordt.

• Eigen agent-identiteit: een cryptografisch verifieerbare identiteit per agent, zodat elke actie herleidbaar is.
• Beperkte, kortlevende bevoegdheid: least privilege en zero standing privilege, taakspecifiek en met korte geldigheid.
• Beleidsafdwinging buiten het model: deterministische autorisatiebeslissingen voor gevoelige bronnen, los van de redenerende laag.
• Menselijke escalatie: verplichte goedkeuring bij acties met hoge impact of onomkeerbare gevolgen.
• Onafhankelijke monitoring: continu toezicht dat de agent zelf niet kan uitschakelen of beïnvloeden.
• Onveranderlijk bewijs: append-only vastlegging van het gedelegeerde mandaat, de genomen actie en de autorisatiebeslissing, die de agent niet kan wijzigen.

Onze lezing van NIST en UNESCO samen: wie dit niet scheidt, laat de agent feitelijk zijn eigen bevoegdheden bepalen, en verliest daarmee het bewijs dat nodig is om aan te tonen dat de organisatie de grens wél had getrokken. Zie ook de uitwerking over NIST over functiescheiding tussen agent, beleidslaag en menselijke fiatteur en over blinde vlekken in monitoring van agent-toolcalls.

Wat betekent dit voor bestuurders, juristen en CISO's die een agent inzetten?

Onze analyse: omdat de autoriteiten een ongeautoriseerde actie beschrijven die in auditlogs legitiem kan lijken, lopen organisaties het risico dat ze een incident pas achteraf en onvolledig kunnen reconstrueren; daarom moet de CISO vóór ingebruikname vastleggen welke acties alleen na onafhankelijke autorisatie mogen plaatsvinden en toetsen of die controle buiten de agent draait. Omdat NIST stelt dat guardrails binnen het model niet volstaan, biedt een leveranciersclaim over een "veilige" agent geen verdedigbare basis; daarom moet de inkoopjurist contractueel afdwingen dat de leverancier aantoont waar de beleidsafdwinging zit en welk onveranderlijk bewijs wordt bewaard. Omdat UNESCO verantwoordelijkheid koppelt aan operationele controle, verschuift de vraag naar wie het mandaat van de agent heeft goedgekeurd en op welk moment de bevoegdheid kon worden ingetrokken; daarom moet het bestuur dat mandaat benoemen bij een aanwijsbare risico-eigenaar en de intrekprocedure testen vóór de eerste productie-inzet. En omdat menselijk toezicht kan verwateren tot een routinehandtekening, is een goedkeuringsstap die niet meetbaar inhoudelijk is geen bescherming; daarom moet de verantwoordelijke manager vastleggen welke informatie de fiatteur per hoog-impactactie te zien krijgt en achteraf steekproefsgewijs toetsen of die beoordeling echt plaatsvond. Voor organisaties in de EU kan deze afweging, afhankelijk van de toepasselijkheid en risicocategorie van het AI-systeem, ook raken aan verplichtingen onder de EU AI Act (Verordening (EU) 2024/1689), waaronder eisen rond risicobeheer en menselijk toezicht bij hoog-risico AI-systemen.

Als samenvatting van die analyse, als minimale set vragen die een bestuur vóór inzet beantwoord wil zien:

1. Wie heeft het mandaat van de agent goedgekeurd en is dat vastgelegd?
2. Welke interne regels begrensden elke afzonderlijke actie?
3. Welke onafhankelijke controle gaf het verzoek vrij of weigerde het?
4. Welk bewijs is bewaard en kan de agent dat niet wijzigen?
5. Wanneer kon de bevoegdheid worden ingetrokken of het systeem worden gestopt?

Deze richtlijnen en principes zijn geen bindend Nederlands recht en vormen geen oordeel over aansprakelijkheid in een concreet geval. Wel schetsen ze samen een verdedigbare lijn. Meer context staat in de themahub over agentic AI en AI-agents, in verdediging tegen prompt injection voordat een agent handelt en in waarom een AI-uitleg nog geen beslisrecord is.

Bronnen: Het artikel steunt op de gezamenlijke richtlijn van ASD ACSC, CISA, NSA en partners, op NIST's ontwerpprincipes voor agent-identiteit, op een UNESCO-analyse over accountability en op een ACM-paper over agent-hijacking.