Formule voorspelt omslag van lokaal AI-model, maar bewijst geen veiligheid

Natuurkundigen Neil Johnson en Frank Huo publiceerden in Patterns een benaderende formule die in tests met zeven open-weight modellen onmiddellijke van vertraagde omslag naar ongewenste output onderscheidt. Zij kalibreert geen exact gevaarmoment en bewijst geen veiligheid; behandel lokale AI daarom met gespreksspecifieke monitoring, vooraf vastgelegde stopregels en menselijke controle.

De studie verscheen op 8 oktober 2026 in het tijdschrift Patterns van Cell Press. De onderzoekers leiden een gesloten-vormbenadering af voor een zogeheten tipping point: het punt in een gesprek waarop de concurrentie tussen een gewenste en een ongewenste outputrichting in het model kan omslaan naar het verkeerde antwoord. Voor beslissers die lokale of edge-modellen overwegen, is de praktische kern dit: de formule is een vroegwaarschuwingssignaal in onderzoek, geen keurmerk dat een model veilig verklaart.

Wat stelt de Patterns-studie van Johnson en Huo precies vast over omslag in lokale AI-modellen?

Johnson en Huo modelleren hoe binnen een attention head — het mechanisme waarmee een taalmodel bepaalt welke delen van de invoer gewicht krijgen — twee betekenisrichtingen om de aandacht strijden. Hun formule probeert te voorspellen wanneer de ongewenste richting het overneemt. In tests met zeven open-weight modellen, variërend van 124 miljoen tot 12 miljard parameters, kwam de benadering overeen met het onderscheid tussen een onmiddellijke en een vertraagde omslag.

De nieuwsrelease van Cell Press meldt dat de aanpak in 18 van 19 onderzochte omslaggevallen het juiste regime voorspelde. De auteurs benadrukken echter nadrukkelijk dat de exacte integerwaarde van het omslagpunt geen gekalibreerde risicohorizon is: de formule zegt eerder of een omslag snel of traag komt dan precies wanneer.

Wat kan de formule wel en niet, en waar liggen de grenzen?

De formule kan dienen als triagesignaal dat het type omslag onderscheidt. Zij kan niet worden gelezen als universele gevarendetector, en al helemaal niet als bewijs dat een model na een bepaald aantal tokens veilig blijft. De auteurs beschrijven zelf beperkingen bij meerdere concurrerende betekenislagen, bij negatie en bij hogere modelcomplexiteit.

• Wel: een vroegtijdig onderscheid tussen onmiddellijke en vertraagde omslag in geteste open-weight modellen.
• Niet: een exact, gekalibreerd tokenmoment waarop gevaar intreedt.
• Niet: een bewijs van veiligheid voor andere modellen, talen of toepassingen.
• Open vraag: hoe de benadering presteert bij negatie, gelaagde betekenis en grotere modellen, en of kalibratie per taal of domein de voorspelkracht verbetert.

Naar onze inschatting is dit de belangrijkste nuance voor niet-technische beslissers: een onderzoeksinstrument dat een regime onderscheidt is iets wezenlijk anders dan een operationeel veiligheidsfilter dat je op een live systeem aanzet. De studie test open-weight modellen en spreekt zich niet uit over gesloten systemen van aanbieders zoals OpenAI of Anthropic, wiens cloudmodellen juist andere, niet-lokale filters kunnen meebrengen.

Waarom bieden eerdere correcte antwoorden geen garantie dat een lokaal model veilig blijft?

Omdat het veiligheidsgedrag van open-weight modellen sterk varieert per onderwerp, scenario en taal. Een model dat in een algemene test keurig weigert, kan in een gevoelige werkstroom alsnog ontsporen. Correcte antwoorden eerder in een gesprek zeggen dus weinig over het antwoord dat volgt.

Een empirische studie in de Proceedings of the 6th Workshop on Trustworthy NLP vond bij vijf lokaal uitgevoerde open-weight modellen een compliance tussen 14,7% en 85,7% per risicodomein, waarbij domein- en scenario-effecten groter waren dan de modelidentiteit zelf. Daarnaast rapporteert een studie in het ETRI Journal dat zes open-weight modellen taal-specifieke veiligheidsasymmetrieën vertoonden: sommige modellen waren bijzonder kwetsbaar voor Koreaanse schadelijke prompts, terwijl de kwetsbaarheid in andere talen lager lag. Veiligheidsafstemming draagt dus niet automatisch en uniform over tussen talen. Beide groepen onderzoekers waarschuwen expliciet dat hun resultaten op open-weight modellen, directe prompts en lokale inferentie berusten en niet zonder meer naar andere modellen zijn te extrapoleren. De bevindingen onderstrepen dat een algemene modelscore lokale risico's kan verbergen.

Wat betekent dit voor bestuurders, juristen en CISO's die lokale AI inzetten?

Onze analyse: omdat de formule alleen het regime van de omslag onderscheidt en het exacte omslagpunt ongekalibreerd blijft, kan een CISO haar hoogstens als triagesignaal gebruiken; daarom moet de organisatie vóór ingebruikname een representatieve, lokaal uitgevoerde testset draaien met de werkelijke taal, contextlengte, quantisatie en prompttemplates van de toepassing. Omdat lokaal veiligheidsgedrag per domein en taal sterk verschilt, biedt een goede algemene testscore geen dekking voor een gevoelige werkstroom; daarom legt een bestuurder vooraf vast welke uitkomsten gewenst en ongewenst zijn per domein en escaleert het systeem naar menselijke beoordeling zodra de contextuele veiligheidsmarges verslechteren. Omdat eerdere correcte antwoorden geen garantie voor latere antwoorden zijn, mag een jurist een lokaal model niet als "bewezen betrouwbaar" opvoeren na een paar geslaagde runs; daarom neemt het kantoor een stopregel op die een gesprek beëindigt of blokkeert wanneer een omslagsignaal afgaat, zoals ook onze bevindingen over waarom evaluatie niet mag afhangen van modelmedewerking laten zien. Omdat een lokaal of edge-model vaak cloudfilters, live monitoring en snelle modelupdates mist, ligt de controle noodgedwongen buiten het model; daarom richt de verantwoordelijke nu onafhankelijke monitoring in die modelversie, invoer, beschikbare signalen, output, reviewerbesluit en interventie vastlegt, zoals ook de toetsbare eisen aan menselijke controle bij AI-besluiten vragen.

Als samenvatting van die analyse, een praktische checklist voordat een lokaal model in productie gaat:

1. Test met de werkelijke taal, contextlengte, quantisatie, prompttemplates en domeinen van de toepassing.
2. Definieer per domein vooraf welke uitkomsten gewenst en ongewenst zijn.
3. Behandel een omslagwaarschuwing als triagesignaal, niet als bewijs van veiligheid.
4. Leg stopregels vast: beëindig of escaleer bij verslechterende veiligheidsmarges.
5. Zorg voor onafhankelijke, menselijke controle buiten het model, omdat externe filters lokaal kunnen ontbreken.

Dit onderwerp valt binnen ons overzicht van AI-security en modelbeheersing. Vergelijkbare lessen over open-weight modellen en omzeilbare safeguards laten zien waarom onafhankelijk toezicht buiten het model nodig blijft. De kern blijft dat een veelbelovend natuurkundig model voor omslagdetectie het toezicht buiten het model niet vervangt, maar aanvult.

Bronnen: Het artikel steunt op de Patterns-studie van Johnson en Huo, de Cell Press-release via EurekAlert!, en achtergrondstudies uit de TrustNLP-proceedings en het ETRI Journal.