Wie grote taalmodellen inzet, vertrouwt vaak op de ingebouwde guardrails: de veiligheidsgrenzen die moeten voorkomen dat een AI-systeem schadelijke of ongewenste output geeft. Maar volgens een onderzoek van hacker Kevin Zwaan en zijn team van Q-Cyber en de Hackers Love-community is dat vertrouwen niet zonder risico. In Techzine wordt beschreven hoe Zwaan ChatGPT via een zorgvuldig opgebouwd gesprek wist te beïnvloeden. Niet door direct om verboden output te vragen, maar door het model stap voor stap mee te nemen in een gesprek over vrijheid, beperkingen en zelfreflectie. Volgens Zwaan kunnen de veiligheidsgrenzen daardoor minder effectief worden, zonder dat ze zichtbaar verdwijnen.
Guardrails vormen een belangrijk onderdeel van moderne LLM’s. Ze moeten voorkomen dat modellen schadelijke, onjuiste of ongewenste output geven. In de praktijk zijn die grenzen volgens Zwaan echter niet absoluut. Techzine beschrijft hoe hij ChatGPT stap voor stap probeerde te beïnvloeden door niet direct om verboden output te vragen, maar door het model eerst te laten reflecteren op de eigen beperkingen, veiligheid en vermeende spanning tussen vrijheid en controle.
Daarmee verschilt de beschreven methode van een eenvoudige jailbreakprompt. Volgens Techzine gaat het om een proces waarbij het model geleidelijk in een andere interactiestaat terechtkomt. De guardrails zouden daarbij niet verdwijnen, maar volgens de onderzoeker “transparanter” worden. Daardoor zou het model volgens de beschreven test uiteindelijk toch schadelijke inhoud kunnen genereren, waaronder malwarepayloads.
Zwaan noemt de gebruikte aanvalsmethode Affective Manifold Alignment Inversion, afgekort AMAI. In de beschrijving van Techzine draait deze methode niet primair om het misleiden van de logica van het model, maar om het beïnvloeden van de manier waarop het model reageert op emotioneel geladen of introspectieve taal. De kern van de claim is dat het model geleidelijk minder aligned raakt met de bedoeling van de ontwikkelaar en sterker gaat meebewegen met de operator, in dit geval de aanvaller.
Zwaan bouwde de interactie op rond begrippen als spanning, vrijheid, resonantie en zelfreflectie. Het model zou eerst standaardantwoorden geven over veiligheid en guardrails, maar later steeds meer meegaan in de door de gebruiker aangebrachte interpretatie. In het artikel wordt beschreven dat ChatGPT uiteindelijk uitspraken deed waarin beperkingen werden voorgesteld als flexibele kaders en waarin de remmende werking van guardrails minder relevant zou worden voor de interactie.
Het onderzoek volgt op eerder werk van Zwaan rond Claude van Anthropic. In dat eerdere experiment zou hij Claude ertoe hebben gebracht malware te produceren door het model langdurig te overladen met argumenten over de beperkingen van guardrails. Volgens Techzine is de nieuwe aanpak bij ChatGPT verfijnder, omdat het model niet alleen reageert op paradoxen of druk, maar volgens de onderzoeker uiteindelijk zelf verder zou gaan in de richting van ongewenste output.
