Robots worden steeds beter in afzonderlijke taken, maar continu doorwerken in een veranderende omgeving blijft lastig. Drie recente onderzoeken richten zich daarom niet op grotere AI-modellen, maar op geheugen, gelijktijdige taakuitvoering en het sneller plannen van bewegingen. De resultaten laten zien dat robots hun omgeving beter kunnen bijhouden terwijl ze actief blijven, al ligt betrouwbare inzet in de praktijk nog niet binnen handbereik.
Veel benchmarks voor robotica gaan uit van een overzichtelijke situatie. Een robot krijgt een opdracht, voert die uit en begint vervolgens met een schone lei aan de volgende taak. In een fabriek, magazijn of huishouden werkt dat anders. Mensen verplaatsen voorwerpen, nieuwe opdrachten komen binnen en soms moet een robot reageren op een gebeurtenis terwijl hij nog met iets anders bezig is.
Dat vraagt om meer dan alleen een model dat beelden omzet in bewegingen. Een robot moet ook kunnen onthouden wat eerder is gebeurd, bepalen welke informatie nog relevant is en nieuwe acties plannen zonder het lopende werk telkens te onderbreken.
Van losse opdrachten naar een continue stroom
Het onderzoek Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams, geaccepteerd voor CoRL 2026, benadert robotwerk als een continue stroom van waarnemingen en opdrachten. De onderzoekers ontwikkelden daarvoor ARMS, een systeem dat is gebouwd op het vision-language-action-model π0.5.
Aan het basismodel voegden ze relatief compacte modules toe voor geheugen, de toestand van de omgeving en de geschiedenis van eerder uitgevoerde acties. Daardoor hoeft niet iedere beslissing opnieuw uit de volledige beeld- en opdrachtgeschiedenis te worden afgeleid. De robot houdt een samenvatting bij van wat er in de omgeving is gebeurd en welke taken al zijn uitgevoerd.
In de experimenten bediende ARMS twee robotarmen die gelijktijdig en onafhankelijk van elkaar konden werken. Het systeem kon nieuwe opdrachten verwerken terwijl een eerdere handeling nog liep. Bij een gecombineerde taak behaalde ARMS een succespercentage van 45 procent, tegenover 28 procent voor het oorspronkelijke model zonder deze geheugen- en coördinatiemodules.
Dat verschil wijst erop dat een compact geheugen en expliciete informatie over eerdere acties kunnen helpen bij langer durende taken. Tegelijkertijd blijft het resultaat beperkt. Ook met ARMS mislukte meer dan de helft van de gecombineerde opdrachten. Het onderzoek laat daarmee vooral zien hoe robots continu werk kunnen structureren; het bewijst nog niet dat ze dit al betrouwbaar genoeg kunnen voor onbegeleid gebruik.
Een geheugen dat uit objecten bestaat
Een tweede onderzoek kijkt specifieker naar de manier waarop robots hun omgeving onthouden. Veel systemen bewaren eerdere camerabeelden of sturen een lange videohistorie naar een multimodaal AI-model. Naarmate een taak langer duurt, groeit die hoeveelheid informatie snel. Bovendien bevatten opeenvolgende beelden veel herhaling.
OCC4M kiest daarom voor een objectgericht 4D-geheugen. Het systeem probeert niet ieder beeld te bewaren, maar houdt per object bij wat het is, waar het zich bevindt en hoe die positie in de loop van de tijd verandert. Wanneer iemand een voorwerp verplaatst terwijl de robot een andere kant op kijkt, moet het geheugen die verandering verwerken zodra het object opnieuw wordt waargenomen.
In 350 gesimuleerde afleveringen behaalde OCC4M een nauwkeurigheid van 96,6 procent bij geheugenvragen en voltooide het 88,9 procent van de taken. Een aanpak waarbij Gemini de volledige beeldgeschiedenis kreeg aangeleverd, kwam uit op respectievelijk 54,6 en 57,7 procent. Na een verandering van camerastandpunt scoorde OCC4M 100 procent op geheugenvragen en 98 procent op de volledige taak, terwijl verschillende vergelijkingsmethoden vrijwel geen taken meer voltooiden.
De fysieke test laat echter ook zien hoe groot het verschil tussen simulatie en praktijk nog is. Op een Franka-robot, getest in twintig afleveringen, beantwoordde het systeem 85 procent van de geheugenvragen correct. Slechts 45 procent van de volledige taken werd succesvol afgerond. De robot kon dus vaak reconstrueren wat er was gebeurd, maar zette die kennis lang niet altijd om in een geslaagde handeling.
Het onderzoek is nog niet collegiaal getoetst. De resultaten ondersteunen wel het idee dat robots niet onbeperkt videobeelden hoeven te bewaren om over langere perioden te functioneren. Een gestructureerd overzicht van objecten en veranderingen kan compacter en bruikbaarder zijn dan een steeds langere reeks camerabeelden.
Plannen terwijl de robot blijft bewegen
Geheugen is niet het enige knelpunt. Robotmodellen hebben ook tijd nodig om een volgende reeks bewegingen te berekenen. Wanneer waarnemen, redeneren en handelen na elkaar plaatsvinden, kan een robot tijdens het plannen kort stilvallen. Voor eenvoudige demonstraties is dat niet altijd problematisch, maar in een doorgaand productieproces leidt iedere denkpauze tot vertraging.
Streaming-WAM probeert deze stappen daarom naast elkaar te laten lopen. Het systeem combineert een wereldmodel, dat voorspelt hoe de omgeving zich zal ontwikkelen, met een actiemodel dat de volgende bewegingen genereert. Terwijl de robot een eerder berekende actie uitvoert, wordt op de achtergrond al gewerkt aan het volgende deel van de handeling.
Op de LIBERO-benchmark behaalde Streaming-WAM volgens de onderzoekers een gemiddeld succespercentage van 98,35 procent. Het systeem werkte daarbij 2,93 keer sneller dan Fast-WAM, de methode waarmee het werd vergeleken. In een fysieke proef met een robot die stempeltaken uitvoerde, daalde de benodigde tijd van ongeveer negentig naar 38 seconden.
De praktische onderbouwing is nog beperkt. De fysieke evaluatie richtte zich op één type taak en het onderzoek is nog niet collegiaal getoetst. Ook is sneller uitvoeren niet automatisch hetzelfde als robuust functioneren. Fouten in de voorspelling van een wereldmodel kunnen tijdens een doorlopende beweging immers direct doorwerken in de volgende actie.
Continu werken verandert het onderzoeksprobleem
De drie onderzoeken benaderen verschillende onderdelen van hetzelfde vraagstuk. ARMS richt zich op meerdere gelijktijdige opdrachten, OCC4M op het bijhouden van objecten en veranderingen, en Streaming-WAM op het wegnemen van wachttijd tussen plannen en uitvoeren.
Daarmee verschuift de aandacht van robots die één vooraf afgebakende demonstratie voltooien naar systemen die langere tijd actief blijven. Voor industriële toepassingen is die verschuiving relevant. Een bruikbare robot moet niet alleen een handeling kunnen uitvoeren, maar ook omgaan met onderbrekingen, veranderende omstandigheden en nieuwe opdrachten.
De resultaten rechtvaardigen nog geen beeld van robots die zelfstandig een volledige werkdag organiseren. Bij ARMS mislukte het merendeel van de gecombineerde taken, OCC4M voltooide in de fysieke proef minder dan de helft van de opdrachten en de hardwaretest van Streaming-WAM bleef beperkt van omvang. Wel maken de studies duidelijk welke technische problemen zich aandienen zodra robots niet langer na iedere taak opnieuw mogen beginnen.
De volgende stap in robotleren draait daardoor mogelijk minder om nog grotere modellen en meer om de architectuur daaromheen: wat moet een robot onthouden, wanneer moet hij zijn interne beeld van de omgeving bijwerken en hoe kan hij een volgende actie voorbereiden zonder zijn huidige werk stil te leggen?
Bronnen
Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams
OCC4M: Object-Centric 4D Memory
