Het in Zürich gevestigde mimic robotics heeft een video-actiemodel ontwikkeld waarmee industriële robots complexe handelingen kunnen leren op basis van een beperkte hoeveelheid demonstratiegegevens. Het model, FLUX-mimic, is ontwikkeld in samenwerking met Black Forest Labs. Het combineert de expertise van mimic robotics op het gebied van robotleren en nauwkeurige manipulatie met de architectuur van het videomodel FLUX 3 van Black Forest Labs. De technologie wordt momenteel samen met Audi getest in productieomgevingen.
FLUX-mimic bouwt voort op het eerdere systeem mimic-video, waarmee een vooraf getraind videogeneratiemodel werd uitgebreid met de mogelijkheid om robotacties te voorspellen. Het nieuwe model gebruikt de kennis die is opgedaan tijdens de videotraining om te begrijpen hoe objecten bewegen en op elkaar inwerken. Vervolgens vertaalt een actiedecoder deze visuele voorspellingen naar concrete robotbewegingen.
Veel systemen waarmee robots nieuwe taken leren, maken gebruik van zogenoemde vision-language-action-modellen. Die zijn voornamelijk getraind op stilstaande beelden en tekst. Om de fysieke eigenschappen van objecten en bewegingen te leren, zijn doorgaans extra robotdemonstraties nodig. Volgens mimic robotics kan FLUX-mimic voor bepaalde manipulatietaken worden ingeleerd met ongeveer dertig minuten aan robotgegevens, afhankelijk van de complexiteit van de taak. Bij eerdere methoden was daarvoor vaak dertig uur of meer nodig.
Volgens het bedrijf kan de sterk verminderde behoefte aan trainingsgegevens de tijd verkorten die nodig is om robots voor nieuwe productietaken in te zetten. Het model is bedoeld voor toepassingen waarbij flexibele materialen, fijngevoelige manipulatie en verschillende productvarianten een rol spelen. Juist die taken zijn met traditioneel geprogrammeerde industriële robots vaak lastig uit te voeren.
Audi test FLUX-mimic voor toepassingen in productie en logistiek, waaronder werkzaamheden met vervormbare materialen. De autofabrikant onderzoekt of robots die op basis van leertechnieken werken de hoeveelheid engineering kunnen verminderen en medewerkers kunnen ontlasten door repetitieve of fysiek zware werkzaamheden over te nemen.
Christoph Schneider van het Audi Production Lab zegt dat uit de eerste tests blijkt dat robots met het nieuwe model in staat zijn zachte materialen te manipuleren, iets waar conventionele robotsystemen niet in slaagden. Audi onderzoekt daarom of de technologie kan bijdragen aan een verdere uitbreiding van flexibele automatisering binnen de productie- en logistieke processen.
Stephan-Daniel Gravert, medeoprichter en chief product officer van mimic robotics, zegt dat de samenwerking moet uitwijzen of FLUX-mimic betrouwbaar kan functioneren op productielijnen en tegelijkertijd de hoeveelheid engineering kan verminderen die nodig is om robots nieuwe taken te laten uitvoeren.
Foto: Audi
