Blog

Red teaming van AI-agents wordt een continu proces

Microsofts External Red Team Alliance en nieuw onderzoek tonen dat red teaming van generatieve AI en AI-agents verschuift naar een doorlopend, ecosystemisch proces.

· Victor Angelier

Op 27 juli 2026 kondigde Microsoft de External Red Team Alliance (EXTRA) aan, een wereldwijde uitbreiding van zijn interne AI Red Team. In de blogpost Enhancing AI security through global AI red teaming positioneert het bedrijf red teaming van AI-systemen expliciet als een structureel onderdeel van AI-security, en niet langer als een incidentele testactiviteit. Dat is meer dan een programmatische wijziging: het markeert een omslagpunt in hoe organisaties naar de veiligheid van generatieve AI en autonome agents kijken.

De boodschap achter EXTRA sluit aan bij een bredere ontwikkeling die zich de afgelopen maanden aftekent. Waar red teaming lange tijd een eenmalige, menselijke oefening was, ontstaat nu een doorlopend systeem met drie herkenbare lagen: providerprogramma's, onafhankelijke frameworks en taxonomieën, en autonome red-team-agents die aanvallen zelf uitvoeren. Voor professionals die AI inzetten in de buurt van vertrouwelijke informatie is dat relevant, omdat het laat zien welke controlelaag hier nog nodig is.

Van pentest naar ecosysteem

Het security-ecosysteem levert inmiddels concrete kaders. De Cloud Security Alliance beschrijft in haar research note CAISI's AI Agent Security Agenda hoe NIST's taxonomie voor adversarial machine learning (NIST AI 100-2 E2025) moet worden geïntegreerd in de red-teamplanning voor AI-agents. De nota koppelt dat aan empirische bevindingen uit grootschalige agent-hijackingtests, waarbij ieder van de dertien geteste frontier-modellen ten minste één geslaagde agent-compromittering vertoonde. Ook agent-specifieke dreigingsmodellen zoals MAESTRO komen aan bod, die de lagen van een agent-workflow — van orchestration tot geheugen — expliciet in kaart brengen.

De OWASP GenAI-community schetst in haar AI Security Solutions Landscape For AI and Agentic Red Teaming (Q2 2026) hoe de bijbehorende tooling zich ontwikkelt. Het overzicht beschrijft oplossingen voor agentic red teaming, geautomatiseerde prompt-injectieaanvallen en exploitframeworks die agentgedrag en toolchains testen. Samen laten CSA en OWASP zien dat serieuze red teaming van AI-agents een eigen methodologie, taxonomie en scope vereist — inclusief indirecte prompt-injectie via documenten, geheugen en orchestratielagen.

Autonome red-team-agents in de praktijk

Dat autonome red-team-agents niet alleen conceptueel bestaan, blijkt uit twee recente academische werken. De paper AgentXploit: End-to-End Red-Teaming for AI Agents introduceert een volledig automatisch, multi-agent framework met een tweefasige architectuur: een Analyzer-agent en een Exploiter-agent. Op de AgentDojo-benchmark behaalt het een aanvalsucceratio van 79 procent, en het voert ook geslaagde aanvallen uit op echte agents zoals OpenHands.

De publicatie RedAgent: An Autonomous Agent for Context-Aware Red Teaming of LLM Jailbreaks beschrijft een agent die contextspecifieke aanvallen genereert tegen maatwerk-LLM-applicaties. Volgens de auteurs kan RedAgent de meeste black-box-modellen binnen vijf queries jailbreaken en identificeerde het zeshonderd kwetsbaarheden in zestig OpenAI-applicaties. Beide werken onderbouwen dat geautomatiseerde, contextbewuste red teaming substantiële kwetsbaarheden in agentic systemen blootlegt — kwetsbaarheden die klassieke pentests en modelvalidatie doorgaans niet raken.

Wat dit betekent voor werken met vertrouwelijke informatie

De rode draad door deze bronnen is dat AI-agents een eigen aanvalsoppervlak hebben. Niet alleen het model, maar ook de configuratie, de toolrechten, het geheugen en de externe contentkanalen kunnen worden misbruikt. Voor advocaten, notarissen, bedrijfsartsen, journalisten en compliance-teams die met gevoelige data werken, is dat een reden om niet alleen naar de output te kijken, maar ook naar de manier waarop AI die output tot stand brengt.

I am Vera is een privacy-gerichte verificatieconsole en geen chatbot of eigen taalmodel; het is een controlelaag rond het gebruik van AI. Die rol sluit aan bij het beeld dat uit dit onderzoek naar voren komt. De Semantic Privacy Shield is ontworpen om documenten op EU-infrastructuur te anonimiseren vóórdat inhoud aan AI-modellen wordt aangeboden, waarbij de workflow zo is ingericht dat alleen geanonimiseerde inhoud naar de geselecteerde modellen gaat; bij een mislukte privacycontrole wordt niets doorgestuurd. Dat beperkt wat er via prompts of contextkanalen kan lekken.

Daarnaast maakt de multi-model verificatie zichtbaar hoe verschillende modellen op dezelfde vraag reageren. Vera garandeert daarmee geen correctheid en elimineert geen hallucinaties, maar maakt de verificatiestappen inzichtelijk, zodat een professional beter kan beoordelen of een antwoord standhoudt. Het bekijken en bewerken van documenten gebeurt in Vera Office binnen dezelfde beveiligde omgeving, wat helpt om de context waarin AI wordt gebruikt gecontroleerd te houden.

De ontwikkelingen rond EXTRA, de CSA-agenda, het OWASP-landschap en frameworks als AgentXploit en RedAgent wijzen in dezelfde richting: red teaming van generatieve AI en AI-agents wordt een continu proces. Voor organisaties die met vertrouwelijke informatie werken betekent dat vooral dat toegangsrechten, logging en menselijk toezicht net zo serieus moeten worden genomen als het model zelf. Het professionele eindoordeel blijft daarbij altijd bij de gebruiker; tooling kan die beoordeling ondersteunen, maar niet vervangen.

← Alle artikelen