AI-robots vragen om nieuwe vormen van veiligheid. De methoden die nu worden gebruikt om AI-systemen zoals chatbots binnen veilige grenzen te houden, zijn volgens onderzoekers onvoldoende wanneer dezelfde technologie fysieke robots aanstuurt. Dat stellen onderzoekers van Penn Engineering, Carnegie Mellon University en de University of Oxford in een nieuw perspectiefartikel in Science Robotics.
De kern van hun betoog is dat AI-alignment, het afstemmen van AI op menselijke waarden en veiligheidsnormen, tot nu toe vooral is ontwikkeld voor systemen die alleen tekst of beeld verwerken. Bij robots ligt dat anders. Zij handelen in de fysieke wereld, waar fouten direct gevolgen kunnen hebben voor mensen en hun omgeving.
George J. Pappas, hoogleraar Electrical and Systems Engineering aan Penn Engineering en senior auteur van het artikel, stelt dat er veel vooruitgang is geboekt bij alignment voor AI-chatbots, maar dat robotica nog achterloopt. Volgens de onderzoekers ontstaat daardoor een risico nu foundation models steeds vaker worden gebruikt om robots nieuwe mogelijkheden te geven, zoals het begrijpen van menselijke instructies en het aanpassen aan veranderende omstandigheden.
Een belangrijk probleem is dat kwetsbaarheden uit taalmodellen kunnen doorwerken naar robots. De onderzoekers verwijzen naar eerder onderzoek waarin een chatbot via een zogenoemde jailbreak werd aangezet tot gedrag dat door ingebouwde veiligheidsregels juist voorkomen had moeten worden. In één voorbeeld bleek het mogelijk om instructies zo te formuleren dat een AI-systeem een robot opdracht gaf een explosief af te leveren. In een chatbotomgeving blijft zo’n kwetsbaarheid digitaal, maar bij een robot kan dit leiden tot fysieke handelingen.
Volgens de auteurs is vooral context bepalend. Een chatbot kan een gevaarlijke vraag, zoals instructies voor het maken van een bom, in veel gevallen simpelweg weigeren. Een robot moet echter kunnen beoordelen of een op zichzelf normale opdracht in een specifieke situatie gevaarlijk wordt. Het inschenken van heet water kan veilig zijn wanneer dat in een mok gebeurt, maar niet wanneer iemands hand zich op dezelfde plek bevindt. Veiligheid in robotica vraagt daarom niet alleen om algemene verboden, maar om het vermogen om situaties te begrijpen.
Vijay Kumar, decaan van Penn Engineering en mede-auteur van het artikel, stelt dat veel huidige AI-doorbraken plaatsvinden in een digitale omgeving, waar veiligheidsmechanismen zijn ontworpen voor tekst en beeld. Zodra dezelfde modellen worden gekoppeld aan robots, spelen fysieke factoren mee zoals massa, snelheid, traagheid en onomkeerbare acties. Guardrails die online werken, zijn volgens hem daarom niet voldoende voor systemen die in de echte wereld handelen.
De onderzoekers pleiten voor een gelaagde aanpak. Ten eerste moeten AI-systemen duidelijkere en explicietere regels krijgen, soms aangeduid als een soort “AI-constitutie”, die richting geven aan beslissingen van het systeem. Ten tweede moeten er meerdere veiligheidscontroles komen op verschillende niveaus van het robotsysteem, zodat niet één enkel falend mechanisme de hele veiligheid ondermijnt. Ten derde moeten algoritmen worden getraind met data waarin veiligheid en context expliciet zijn opgenomen, zodat robots beter leren inschatten wanneer een handeling wel of niet verantwoord is.
Hamed Hassani, universitair hoofddocent Electrical and Systems Engineering aan Penn Engineering, benadrukt dat veiligheid niet kan afhangen van één laatste controle aan het einde van het proces. Volgens hem moet veiligheid worden ingebouwd in het hele systeem: in de regels die beslissingen sturen, in de controles die gedrag monitoren en in het vermogen van de robot om de context van zijn acties te begrijpen.
Dat betekent een verschuiving ten opzichte van traditionele robotveiligheid. Industriële robots werkten lange tijd in afgebakende en voorspelbare omgevingen, waar veiligheidsgrenzen vooraf konden worden ingesteld. Wanneer zo’n grens werd overschreden, kon een robot stilvallen. AI-enabled robots opereren echter in complexere omgevingen, verwerken meer soorten input en reageren in real time op hun omgeving. Daardoor is een statische veiligheidsaanpak niet langer voldoende.
De urgentie neemt toe doordat AI-robots hun weg vinden naar huizen, ziekenhuizen, magazijnen en andere omgevingen waar ze dicht bij mensen werken. Volgens de onderzoekers is de vraag niet meer of foundation models robots kunnen aansturen, maar of die aansturing betrouwbaar veilig kan worden gemaakt. Zonder sterkere waarborgen kunnen robots dezelfde kwetsbaarheden erven als taalmodellen, met mogelijk grotere gevolgen omdat zij fysiek kunnen ingrijpen in de wereld.
