Tijdens het technologie-evenement NVIDIA GTC hebben Intel RealSense en LimX Dynamics een demonstratie gepresenteerd waarin een humanoïde robot zelfstandig door een omgeving navigeert met behulp van 3D-visie en visuele lokalisatie. De demonstratie laat zien hoe sensoren, robotsoftware en simulatieplatforms worden gecombineerd om humanoïde robots beter te laten begrijpen waar ze zich bevinden en hoe ze zich veilig kunnen verplaatsen in complexe omgevingen waar mensen, obstakels en hoogteverschillen voortdurend veranderen.
Volgens RealSense richt het project zich op een van de belangrijkste uitdagingen in humanoïde robotica: betrouwbare perceptie. Waar veel industriële robots opereren in gecontroleerde fabrieksomgevingen, moeten humanoïde robots functioneren in dynamische ruimtes zoals magazijnen, kantoren of openbare gebouwen. In zulke omgevingen verandert de situatie voortdurend en moet een robot zelfstandig kunnen interpreteren wat er in zijn directe omgeving gebeurt.
3D-visie voor humanoïde navigatie
De demonstratie maakt gebruik van een humanoïde robot van LimX Dynamics die is uitgerust met RealSense depthcamera’s. Deze sensoren leveren real-time driedimensionale informatie over de omgeving, waardoor de robot afstanden kan meten, obstakels kan detecteren en de geometrie van zijn omgeving kan analyseren.
Depth sensing speelt een cruciale rol bij legged robots. In tegenstelling tot mobiele robots met wielen, die zich doorgaans over vlakke vloeren bewegen, moeten humanoïde robots voortdurend bepalen waar zij hun voeten plaatsen en hoe zij hun balans behouden tijdens het lopen. Dat vereist een nauwkeurig driedimensionaal beeld van de omgeving.
De RealSense-camera’s genereren hiervoor een continue 3D-puntwolk van de omgeving. Op basis van deze informatie kan de robot objecten herkennen, obstakels vermijden en zelfstandig navigeren zonder dat vooraf exacte routes zijn geprogrammeerd.
Visual SLAM en robotperceptie
Naast de sensoren maakt het systeem gebruik van visual SLAM-technologie. SLAM staat voor simultaneous localization and mapping, een methode waarmee een robot gelijktijdig een kaart van zijn omgeving opbouwt en zijn eigen positie binnen die kaart bepaalt.
Voor de demonstratie is deze perceptiestack geïntegreerd met software uit het ecosysteem van NVIDIA. Daarbij wordt gebruikgemaakt van GPU-versnelde robotsoftware voor visuele odometrie en mapping. Door depth sensing te combineren met visual SLAM kan de robot tijdens het lopen continu zijn positie bijstellen en veranderingen in de omgeving verwerken.
Deze mogelijkheid is essentieel voor humanoïde robots die uiteindelijk moeten functioneren in gebouwen, magazijnen en andere menselijke omgevingen waar obstakels en bewegingen voortdurend veranderen.
Training in simulatie
Een belangrijk onderdeel van de demonstratie is de koppeling met simulatie-omgevingen. Een deel van het navigatiesysteem is ontwikkeld en getest in virtuele robotica-omgevingen voordat het op een fysieke robot werd toegepast.
Deze aanpak staat bekend als “sim-to-real”. In simulatie kunnen ontwikkelaars duizenden scenario’s testen, variërend van verschillende terreintypes tot onverwachte obstakels. Door locomotie- en navigatie-algoritmen eerst digitaal te trainen, kan de robot in de praktijk sneller reageren op nieuwe situaties en robuuster omgaan met veranderingen in zijn omgeving.
Perceptie als sleuteltechnologie
De demonstratie onderstreept een bredere ontwikkeling binnen humanoïde robotica: perceptie wordt steeds vaker gezien als een kerncomponent van het systeem. Veel mobiele robots in logistiek gebruiken relatief eenvoudige navigatiesystemen omdat zij op vlakke oppervlakken opereren. Humanoïde robots moeten echter omgaan met trappen, stoepranden, ongelijke vloeren en bewegende mensen.
Dat betekent dat robots niet alleen objecten moeten detecteren, maar ook de structuur van hun omgeving moeten begrijpen. Depthcamera’s en visuele mappingtechnologie worden daarom steeds vaker geïntegreerd in humanoïde platforms.
Volgens RealSense fungeert de vision stack in zo’n systeem als een soort “visuele cortex” die robots in staat stelt hun omgeving te interpreteren en veilige beslissingen te nemen tijdens het bewegen.
LimX als ontwikkelplatform
De humanoïde robot in de demonstratie is ontwikkeld door LimX Dynamics, een bedrijf dat zich richt op legged robots en humanoïde platforms voor onderzoek en ontwikkeling. Het platform is ontworpen als ontwikkelomgeving voor embodied-AI-toepassingen en ondersteunt verschillende sensoren en software-interfaces.
Voor onderzoeksdoeleinden kan het systeem worden uitgerust met depthcamera’s, inertiële sensoren en aanvullende sensoren zoals LiDAR of extra RGB-camera’s. Dat maakt het mogelijk om nieuwe navigatie- en perceptiesystemen relatief eenvoudig te integreren en te testen.
