Robots leren nieuwe taken vaak doordat mensen ze op afstand besturen. Dat levert bruikbare trainingsdata op, maar het verzamelen ervan kost veel tijd, geld en menskracht. Drie recente onderzoeken verkennen daarom andere routes: menselijke video’s omzetten in robotdata, mens en robot hetzelfde exoskelet laten gebruiken en ervaringen uitwisselen tussen verschillende taken en robots.
Wie een robot wil leren omgaan met uiteenlopende objecten en situaties, heeft veel voorbeelden nodig. Die worden doorgaans verzameld via teleoperatie. Een menselijke operator bestuurt de robot, terwijl camera’s en sensoren alle bewegingen registreren. Deze gegevens sluiten goed aan op de gebruikte robot, maar iedere demonstratie vraagt om fysieke apparatuur, een ingerichte werkplek en een geoefende operator.
Dat vormt steeds meer een knelpunt nu ontwikkelaars werken aan breed inzetbare robotmodellen. Een robot die niet één vaste handeling, maar veel verschillende taken moet uitvoeren, heeft immers ook veel gevarieerdere ervaringen nodig.
De onderzoeksprojecten HuRo, SEED-UMI en FolDeX zoeken ieder op een andere manier naar schaalbare alternatieven. HuRo maakt menselijke video’s geschikt voor het trainen van robots, SEED-UMI verkleint met gedeelde hardware het verschil tussen menselijke en robothanden en FolDeX onderzoekt of trainingsdata bruikbaar blijven bij andere taken, omgevingen en robots.
Menselijke video als trainingsbron
HuRo, dat is geaccepteerd voor de Conference on Robot Learning 2026, zet video’s van menselijke handelingen om in trainingsmateriaal voor vision-language-action-modellen. Zulke video’s zijn ruimschoots beschikbaar, maar een robot kan de bewegingen daarin niet rechtstreeks kopiëren. Mensen en robots hebben andere gewrichten en lichaamsverhoudingen. Bovendien bevatten gewone video-opnamen geen informatie over robotcommando’s of gewrichtsstanden.
De onderzoekers ontwikkelden daarom een systeem dat menselijke bewegingen vertaalt naar beelden en actietrajecten die aansluiten op een robot. Ontbrekende informatie wordt tijdens deze verwerking geschat.
Met materiaal uit vijf videobronnen stelden zij ongeveer 630.000 omgezette episodes samen, goed voor 142 miljoen verwerkte videoframes. Deze data werden gebruikt om robotmodellen voor te trainen, waarna de onderzoekers ze op vier fysieke manipulatietaken testten.
Met meer omgezette videodata steeg het gemiddelde voltooiingspercentage van 51,5 naar 80,3 procent. Bij veranderingen in de positie en het uiterlijk van objecten ging het resultaat omhoog van 34,9 naar 72,2 procent. Het omzetten van zowel de beelden als de bijbehorende bewegingen werkte daarbij beter dan alleen visuele voortraining.
De resultaten laten nog niet zien dat een robot willekeurige internetvideo’s kan bekijken en de getoonde taak vervolgens zelfstandig uitvoert. Daarvoor zijn de vertaalslag naar robotbewegingen en aanvullende training nog steeds nodig. Bovendien omvatte de praktijktest slechts vier taken.
Hetzelfde exoskelet voor mens en robot
SEED-UMI kiest voor een fysieke oplossing. Bij dit systeem dragen de menselijke demonstrator en de robothand hetzelfde exoskelet. Daardoor worden bewegingen bij beide gemeten vanuit één mechanisch referentiekader. Camera’s aan de pols kijken tijdens de menselijke demonstratie en de uitvoering door de robot bovendien naar hetzelfde mechanisme.
Dat moet vooral helpen bij taken waarbij vingers contact maken met voorwerpen. Kleine verschillen in de stand of beweging van een vinger kunnen dan bepalen of een handeling slaagt. Bij bestaande exoskeletten worden menselijke bewegingen doorgaans achteraf omgerekend naar een robothand. Zodra vingers een object aanraken of vastklemmen, kan die vertaling minder nauwkeurig worden.
Bij vijf contactrijke taken kon SEED-UMI volgens de onderzoekers drie keer sneller demonstraties verzamelen dan met teleoperatie via een exoskelet. De getrainde robot behaalde gemiddeld een slagingspercentage van 70 procent.
Daar staat tegenover dat mens en robot dezelfde gespecialiseerde hardware moeten gebruiken. Het is daardoor nog onduidelijk hoe gemakkelijk de methode kan worden toegepast op robothanden met een andere bouw. Ook betekent een succespercentage van 70 procent dat bijna een derde van de pogingen nog mislukte. Het onderzoek is een preprint en is nog niet door vakgenoten beoordeeld.
Ervaringen hergebruiken
FolDeX richt zich niet zozeer op het verzamelen van nieuwe demonstraties, maar op het hergebruik van bestaande robotervaring. De benchmark bevat meer dan 2.000 uur aan gegevens van fysieke robots, verdeeld over ruim twintig taken en meer dan tien typen robots.
Het opvouwen van kleding vormt de belangrijkste test. Textiel verandert tijdens iedere beweging van vorm en delen van het kledingstuk kunnen uit beeld verdwijnen. Bovendien bestaat vouwen uit een reeks opeenvolgende handelingen die goed op elkaar moeten aansluiten.
Met FolDeX kunnen onderzoekers nagaan of een robotmodel ervaringen uit de ene situatie ook elders kan benutten. De dataset bevat onder meer menselijke ingrepen na fouten, herstelacties en variaties in verlichting en werkplekindeling. Ook kan worden onderzocht of kennis overdraagbaar is tussen verschillende soorten kleding, tussen harde en vervormbare objecten en tussen uiteenlopende robotplatforms.
Externe onderzoekers kunnen hun modellen daarnaast laten testen op fysieke robots met gestandaardiseerde beginposities en objecten die niet in de trainingsdata voorkwamen. Dat kan eerlijkere vergelijkingen opleveren dan wanneer ieder laboratorium zijn eigen testopstelling en meetmethode gebruikt.
FolDeX is echter vooral een dataset en testomgeving. Het onderzoek toont nog niet aan dat bestaande robotmodellen al betrouwbaar kennis uitwisselen tussen alle opgenomen taken en robots. Ook zegt het totale aantal trainingsuren op zichzelf weinig over de verdeling en kwaliteit van de gegevens. Ook dit onderzoek is nog niet door vakgenoten beoordeeld.
Meer dan zoveel mogelijk trainingsuren
Geen van de drie methoden maakt fysieke robotdata overbodig. HuRo moet de bewegingen uit menselijke video’s nog naar een robot vertalen. SEED-UMI gebruikt gespecialiseerde hardware om menselijke demonstraties beter te laten aansluiten. FolDeX is juist opgebouwd uit duizenden uren praktijkervaring met robots.
Wel laten de projecten zien dat het onderzoek naar robotdata een nieuwe fase ingaat. Menselijke video’s kunnen voor schaal zorgen, gedeelde hardware kan de kwaliteit van demonstraties verbeteren en brede benchmarks kunnen duidelijk maken welke ervaringen tussen taken en robots overdraagbaar zijn.
Daarmee verschuift de aandacht van zoveel mogelijk trainingsuren naar de bruikbaarheid van die data. De centrale vragen worden welke situaties in het materiaal voorkomen, hoe betrouwbaar menselijke bewegingen naar een robotlichaam kunnen worden vertaald en in hoeverre een robot kan voortbouwen op ervaringen die elders zijn opgedaan.
Bronnen
HuRo: Robotizing Human Videos for Scalable VLA Pretraining
SEED-UMI: Sharing the Exoskeleton between Human and Robot for One-to-One Dexterous Demonstration
FolDeX: A Physical-World Benchmark for Long-Horizon Robotic Manipulation of Deformable Objects
