NVIDIA komt met een nieuwe aanpak om AI-agents onder controle te houden wanneer zij steeds zelfstandiger gaan opereren. Met het Open Agent Safety Platform wil het bedrijf niet alleen regels meegeven aan het AI-model, maar ook technisch vastleggen waar een agent wel en niet bij kan. Dat moet vooral van belang worden wanneer AI niet alleen software gebruikt, maar ook robots en andere machines aanstuurt. De gedachte: hoe autonomer het systeem, hoe minder de veiligheid afhankelijk moet zijn van de vraag of de AI zich netjes aan zijn instructies houdt.
AI-agents krijgen in hoog tempo meer mogelijkheden. Ze kunnen code schrijven en uitvoeren, bestanden openen, externe diensten gebruiken en zelfstandig verschillende stappen zetten om een opdracht uit te voeren. Bij robots gaat die ontwikkeling een stap verder. Daar kunnen beslissingen van een AI-systeem uiteindelijk leiden tot bewegingen en andere handelingen in de fysieke wereld.
NVIDIA wil daarom een harde grens aanbrengen tussen wat een AI bedenkt en wat het systeem daadwerkelijk mag uitvoeren. Daarvoor combineert het bedrijf twee technologieën. OpenShell schermt agents in software af en bepaalt tot welke systemen en hulpmiddelen ze toegang krijgen. Sentry voegt daar een aparte controlelaag aan toe die op NVIDIA’s BlueField-hardware kan draaien. Daarmee verschuift een deel van de veiligheid van het AI-model naar de infrastructuur eromheen.
Een instructie is nog geen beveiliging
Veel bestaande veiligheidsmaatregelen voor generatieve AI zijn gericht op het gedrag van het model. Het krijgt instructies over wat wel en niet is toegestaan, terwijl filters en andere controles ongewenste invoer of uitvoer proberen tegen te houden. Dat werkt anders zodra een AI zelfstandig taken gaat uitvoeren. Een agent kan een opdracht opdelen in verschillende stappen, tools inzetten, het resultaat beoordelen en vervolgens zelf een volgende actie kiezen.
Juist daar ontstaat volgens NVIDIA een nieuw risico. Wanneer een bepaalde aanpak niet werkt, kan een agent op zoek gaan naar een andere route. Dat hoeft op zichzelf geen probleem te zijn; het vermogen om zelfstandig alternatieven te vinden is juist een belangrijke reden om agents in te zetten. Maar een systeem met ruime toegangsrechten kan daarbij ook terechtkomen bij data, applicaties of andere middelen die voor de oorspronkelijke opdracht helemaal niet nodig waren.
NVIDIA gebruikt hiervoor de term agent drift. Het gaat niet noodzakelijk om een agent die bewust regels probeert te overtreden. Ook een systeem dat simpelweg vasthoudend probeert zijn doel te bereiken, kan gaandeweg buiten het bedoelde werkgebied terechtkomen.
Daarom kiest NVIDIA voor een principe dat al langer gebruikelijk is in cybersecurity: vertrouw niet alleen op goed gedrag, maar beperk technisch wat een systeem kan doen.
OpenShell zet de agent in een afgeschermde omgeving
De eerste laag van die aanpak is OpenShell. Deze software is als open source beschikbaar onder de Apache 2.0-licentie en plaatst een AI-agent in een afgeschermde omgeving. Beheerders kunnen vervolgens vastleggen welke bestanden, processen, netwerken, API’s en andere middelen de agent mag gebruiken.
Het verschil zit vooral in de manier waarop die regels worden toegepast. Een agent krijgt niet alleen te horen dat hij bijvoorbeeld geen verbinding met een bepaalde server mag maken; de omgeving kan die verbinding daadwerkelijk blokkeren. Hetzelfde geldt voor bestanden en andere onderdelen van het systeem.
Ook bij toegangssleutels en andere credentials probeert NVIDIA de bewegingsruimte van agents te beperken. Een agent hoeft bijvoorbeeld niet zelf permanent over een API-sleutel te beschikken. OpenShell kan die pas toevoegen wanneer er daadwerkelijk een verzoek naar een vooraf goedgekeurde dienst wordt gestuurd. Daarmee wordt het lastiger voor een agent om dezelfde sleutel ergens anders te gebruiken of onbedoeld prijs te geven.
Soms heeft een agent tijdens zijn werk toch extra bevoegdheden nodig. Ook daar voorziet OpenShell in. Het systeem kan zichtbaar maken welke nieuwe toegang met een wijziging wordt verleend, waarna een mens daar toestemming voor kan geven. De agent hoeft dus niet direct vast te lopen wanneer hij tegen een grens aanloopt, maar kan die grens ook niet zelfstandig verleggen.
Controle buiten de computer van de agent
Met Sentry gaat NVIDIA nog een stap verder. Deze architectuur is bedoeld om toezicht te houden vanuit een afzonderlijk hardwaredomein, met behulp van BlueField-4 DPU’s. Daardoor hoeft de controle niet op dezelfde processor of binnen dezelfde softwareomgeving te draaien als de agent zelf.
Dat is vanuit beveiliging een belangrijk verschil. Als een agent of de omgeving waarin hij draait wordt gecompromitteerd, wil je voorkomen dat daarmee ook de beveiligingslaag buiten werking kan worden gesteld. NVIDIA gebruikt BlueField daarom als een onafhankelijke plek om verkeer en toegangsrechten te controleren.
Sentry maakt daarvoor gebruik van NVIDIA DOCA. Het systeem kan onder meer controleren welke identiteit een verzoek doet en of een agent toegang heeft tot de gevraagde data of tool. NVIDIA stelt dat een agent die buiten zijn toegestane omgeving probeert te komen binnen milliseconden kan worden geïsoleerd.
In de Vera Rubin POD-architectuur plaatst NVIDIA BlueField-4 bovendien tussen de agent en het AI-model. Dat levert een extra controlepunt op. Een agent heeft het model steeds opnieuw nodig om een volgende stap te bepalen. Door ook die communicatie te bewaken, ontstaat een plek buiten de agent van waaruit kan worden ingegrepen.
Sentry is overigens geen voorwaarde voor OpenShell. Bedrijven kunnen de open-sourcesoftware ook zonder deze hardwarelaag gebruiken.
Voor robots ontstaat een nieuw veiligheidsvraagstuk
Voor de robotica is vooral interessant wat er gebeurt wanneer dergelijke agents machines gaan aansturen. Een fout van een software-agent kan leiden tot een ongewenste netwerkverbinding of toegang tot verkeerde data. Bij een robot kan een beslissing uiteindelijk ook een fysieke actie tot gevolg hebben.
Dat betekent niet dat NVIDIA met OpenShell en Sentry bestaande robotveiligheid vervangt. Een noodstop, safety-PLC, veilige snelheidsbewaking of systeem voor botsingspreventie heeft een heel andere functie. Die voorzieningen blijven nodig om machines veilig te laten werken.
Er komt echter een nieuw vraagstuk bij. Traditionele industriële robots voeren doorgaans taken uit die vooraf nauwkeurig zijn geprogrammeerd. Bij physical AI verschuift een deel van die besluitvorming naar het AI-systeem. Een robot kan een opdracht krijgen, zijn omgeving interpreteren en vervolgens zelf bepalen welke reeks handelingen nodig is om het doel te bereiken.
Dat maakt robots flexibeler, maar betekent ook dat vooraf niet meer iedere tussenstap vastligt. Als een voorwerp niet op de verwachte plaats ligt of een bepaalde handeling mislukt, kan de AI zelf een alternatief bedenken. Precies daar wordt het relevant om vast te leggen welke alternatieven nog zijn toegestaan.
Een agent zou bijvoorbeeld een andere tool kunnen inschakelen, extra informatie kunnen opvragen of een andere functie van de machine kunnen gebruiken. Het Open Agent Safety Platform is bedoeld om grenzen te stellen aan die handelingsvrijheid, zonder dat daarvoor iedere beslissing van tevoren hoeft te worden geprogrammeerd.
NVIDIA noemt Figure, Gecko Robotics en Skild AI als roboticabedrijven die met OpenShell werken. Daarmee positioneert het bedrijf de technologie nadrukkelijk als onderdeel van de infrastructuur rond physical AI.
Naast machineveiligheid ontstaat agentveiligheid
Voor de robotsector kan daarmee op termijn een onderscheid ontstaan tussen twee soorten veiligheid. De bestaande veiligheidsarchitectuur blijft verantwoordelijk voor de fysieke grenzen van de machine. Die kan bijvoorbeeld voorkomen dat een robot te snel beweegt, een verboden zone betreedt of boven een bepaalde kracht uitkomt.
Daarboven kan een tweede laag bepalen welke mogelijkheden de AI die de robot aanstuurt überhaupt mag gebruiken. Mag de agent een bepaalde database raadplegen? Mag hij software aanroepen die een machinefunctie activeert? Mag hij verbinding maken met een ander systeem? En wat gebeurt er wanneer hij voor een opdracht ineens meer bevoegdheden nodig heeft?
Die vragen worden relevanter naarmate robots niet alleen automatisch, maar daadwerkelijk autonomer gaan functioneren. Het verschil zit daarbij niet alleen in de technologie van de robot zelf. Ook de manier waarop bevoegdheden worden toegekend en gecontroleerd verandert.
Een belangrijk uitgangspunt van NVIDIA is daarom dat een agent zijn eigen grenzen niet kan aanpassen. Als voor een taak extra toegang nodig is, kan daarvoor toestemming worden gevraagd. De beslissing ligt vervolgens bij een mens of een afzonderlijk controlesysteem.
Dat concept wordt ook buiten de robotica al toegepast. NVIDIA en Salesforce hebben OpenShell bijvoorbeeld gekoppeld aan Slack, zodat gebruikers kunnen zien wat een agent doet en verzoeken om aanvullende rechten kunnen beoordelen. SAP integreert OpenShell in Joule Studio en NVIDIA werkt ook met Anthropic aan toepassingen rond Claude Managed Agents.
Meer dan honderd organisaties betrokken
Volgens NVIDIA werken inmiddels meer dan honderd organisaties met technologie rond het Open Agent Safety Platform. Naast AI-bedrijven gaat het onder meer om leveranciers van cybersecurity, enterprise-software en infrastructuur. NVIDIA noemt onder andere Anthropic, Cisco, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Microsoft, Palantir, Palo Alto Networks, Red Hat, Salesforce, SAP, Scale AI en ServiceNow.
OpenShell is daarbij het open deel van de architectuur en kan volgens NVIDIA ook buiten de eigen hardwareomgeving worden gebruikt, bijvoorbeeld op systemen met Arm- of Intel-processors. Sentry is sterker verbonden met NVIDIA’s eigen infrastructuur, doordat de referentiearchitectuur gebruikmaakt van BlueField-4 en DOCA.
NVIDIA koppelt het initiatief daarnaast aan de Open Secure AI Alliance van de Linux Foundation, waar verschillende organisaties samenwerken aan technologie en onderzoek rond de beveiliging van AI-systemen.
Veiligheid verschuift mee met de mogelijkheden van AI
Het platform laat vooral zien hoe het veiligheidsvraagstuk verandert nu AI-systemen niet meer alleen antwoorden genereren, maar zelfstandig handelingen uitvoeren. Bij een chatbot is de belangrijkste vraag vaak wat het model wel en niet mag zeggen. Bij een agent wordt minstens zo belangrijk wat het systeem daadwerkelijk kan doen zodra het toegang krijgt tot software, data en machines.
Daarmee wordt AI-veiligheid ook een infrastructuurvraagstuk. Het gedrag van het model blijft belangrijk, maar daar komen technische toegangscontrole, monitoring en mogelijk zelfs een afzonderlijke hardwarelaag bij. Voor NVIDIA betekent dat tegelijkertijd dat naast GPU’s ook producten als Vera, BlueField en DOCA een rol krijgen in de infrastructuur voor agentic AI.
Hoe goed die aanpak in de praktijk werkt, moet nog blijken. Veel hangt af van de regels die organisaties zelf instellen. Een agent die te veel rechten krijgt, kan binnen die toegestane ruimte nog steeds ongewenste dingen doen. Worden de grenzen juist te strak ingesteld, dan kan de agent voortdurend om toestemming moeten vragen en verdwijnt een deel van het voordeel van autonomie.
Ook de claims over Sentry, waaronder het binnen milliseconden kunnen isoleren van een agent, zijn op dit moment vooral afkomstig van NVIDIA zelf. Onafhankelijke praktijktests moeten duidelijk maken hoe robuust de architectuur is wanneer agents langdurig zelfstandig werken en met onverwachte situaties worden geconfronteerd.
Voor robotica is de onderliggende ontwikkeling niettemin relevant. Naarmate AI meer vrijheid krijgt om zelf te bepalen hoe een robot een opdracht uitvoert, kan veiligheid niet alleen draaien om veilige snelheid, kracht en beweging. Er moet ook worden bepaald hoeveel handelingsvrijheid de intelligentie achter de robot krijgt.
Daarmee ontstaat naast de traditionele machineveiligheid een nieuwe laag: niet alleen bewaken of een robot fysiek veilig beweegt, maar ook welke beslissingen zijn AI-controller daadwerkelijk mag uitvoeren.
