Robbyant, onderdeel van Ant Group , heeft LingBot-VA 2.0 gelanceerd. Het model is ontwikkeld om robots te laten voorspellen hoe hun acties de fysieke omgeving beïnvloeden en daar direct hun volgende beweging op af te stemmen. Veel bestaande modellen voor robotbesturing zijn gebaseerd op systemen die oorspronkelijk zijn gemaakt voor het genereren van video. Die modellen worden later aangepast voor robots, maar volgens Robbyant werkt dat niet optimaal. Videomodellen zijn vooral gericht op beeldkwaliteit en creativiteit, terwijl robots juist snel, nauwkeurig en voorspelbaar moeten reageren.
LingBot-VA 2.0 verwerkt waarnemingen en acties in een vaste tijdsvolgorde. Zo kan het inschatten wat er na een beweging gebeurt en op basis daarvan bepalen welke stap daarna nodig is. Een belangrijk onderdeel is een nieuwe visual-action tokenizer. Die koppelt visuele informatie direct aan mogelijke handelingen van de robot. Hierdoor moet het model instructies en waarnemingen sneller kunnen omzetten in concrete acties. Daarnaast gebruikt LingBot-VA 2.0 een mixture-of-experts-architectuur. Daarbij worden alleen de onderdelen van het model geactiveerd die voor een specifieke taak nodig zijn. Dat vergroot de capaciteit, zonder dat de verwerkingssnelheid sterk afneemt.
Het model is ook ontworpen voor continue bijsturing. Terwijl een robot een handeling uitvoert, voorspelt LingBot-VA 2.0 al wat er daarna kan gebeuren. Nieuwe informatie uit camera’s en sensoren wordt direct gebruikt om de volgende beweging aan te passen. Zo ontstaat een gesloten regelkring waarin waarnemen, voorspellen en handelen vrijwel gelijktijdig plaatsvinden. Volgens Robbyant haalt het model op één GPU een inferentiesnelheid van 150 hertz. Ook zou het met slechts twintig demonstraties nieuwe taken kunnen leren via in-context learning, zonder dat het model opnieuw hoeft te worden getraind. Deze prestaties zijn afkomstig van het bedrijf en zijn nog niet onafhankelijk bevestigd.
LingBot-VA 2.0 vormt het sluitstuk van een reeks modellen die Robbyant heeft ontwikkeld voor waarneming, simulatie en robotbesturing. Die reeks bestaat verder uit LingBot-Depth 2.0, LingBot-Vision, LingBot-VLA 2.0, LingBot-World 2.0 en LingBot-Video. Met deze combinatie wil Robbyant een volledige technologiestapel bieden voor robots die zelfstandig in industriële en andere fysieke omgevingen werken. CEO Zhu Xing zegt dat het bedrijf daarnaast wil bouwen aan een open ecosysteem voor embodied AI, met als doel de inzet van robots in de praktijk te versnellen.
