Onderzoekers van de School of Engineering van Princeton University werken aan een technologie die virtuele en fysieke omgevingen met elkaar verbindt door mixed-reality-headsets te koppelen aan robots. Het onderzoek, onder leiding van universitair docent computerwetenschappen Parastoo Abtahi en postdoctoraal onderzoeker Mohamed Kari, wordt volgende maand gepresenteerd tijdens het ACM Symposium on User Interface Software and Technology in Busan, Zuid-Korea.
Het systeem maakt het voor gebruikers met een mixed-reality-headset mogelijk om digitale objecten te ervaren die in werkelijkheid door een robot worden geleverd. Zo kan een gebruiker bijvoorbeeld virtueel een drankje op een bureau plaatsen of een geanimeerde bij een zak chips laten bezorgen, waarna de robot het object fysiek aanreikt. Volgens de onderzoekers is het doel om de technische processen onzichtbaar te maken, zodat de interactie tussen mens en computer natuurlijk en intuïtief aanvoelt.
Een belangrijk vraagstuk daarbij is de communicatie tussen gebruiker en robot. Abtahi en Kari ontwikkelden een techniek waarbij handgebaren worden gebruikt om objecten te selecteren. Deze gebaren worden vertaald naar opdrachten die de robot uitvoert. De robot draagt zelf ook een mixed-reality-headset, zodat hij objecten correct kan positioneren in de omgeving.
Daarnaast onderzoekt het team hoe fysieke objecten aan het gezichtsveld van de gebruiker kunnen worden toegevoegd of juist verwijderd. Met behulp van een technologie die bekendstaat als 3D Gaussian splatting wordt een digitale kopie van de fysieke ruimte opgebouwd. Hierdoor kan het systeem bewegende elementen, zoals de robot zelf, onzichtbaar maken of digitale objecten toevoegen aan de kamer. Voorlopig is het scannen en digitaal reconstrueren van een ruimte nog een tijdrovend proces. Abtahi verwacht dat dit in de toekomst kan worden geautomatiseerd met behulp van robots, wat in haar laboratorium verder zal worden onderzocht.
Foto credit: Nick Donnoli/Orangebox Pictures
