Onderzoekers van de School of Engineering and Applied Science van Columbia University hebben een mensachtige robot ontwikkeld die leert om lipbewegingen te synchroniseren met spraak en zang – niet via voorgeprogrammeerde instructies, maar door te observeren. Het onderzoek, geleid door werktuigbouwkundig hoogleraar Hod Lipson en promovendus Yuhang Hu, is gepubliceerd in Science Robotics.
Het project richt zich op een van de grootste uitdagingen in de interactie tussen mens en robot: realistische gezichtsuitdrukkingen. Terwijl humanoïde robots steeds beter kunnen lopen en grijpen, blijven hun gezichtsbewegingen vaak houterig en onnatuurlijk – een effect dat bekendstaat als de ‘uncanny valley’. Lipsons team ontwikkelde een robotgezicht met 26 minuscule motoren en een flexibele huid, wat zorgt voor meer natuurlijke bewegingen dan bij traditionele, stijve ontwerpen.
De robot leerde in twee stappen. Eerst keek hij in de spiegel om te begrijpen hoe zijn motorische aansturing zich vertaalt naar gezichtsbewegingen – een proces dat de onderzoekers omschrijven als het bouwen van een ‘visueel-naar-actie’-taalmodel. Vervolgens bestudeerde de robot uren aan video’s van sprekende en zingende mensen, waardoor de kunstmatige intelligentie kon leren hoe menselijke lippen bewegen bij bepaalde klanken.
Uit tests bleek dat de robot lipbewegingen kan synchroniseren met verschillende talen en liedjes – waaronder materiaal van zijn eigen AI-gegenereerde album hello world_. Sommige klanken, zoals medeklinkers en afgeronde klinkers, bleken nog lastig, maar volgens de onderzoekers zal de nauwkeurigheid verbeteren naarmate de robot meer interactie heeft met mensen.
Volgens Hu kan deze technologie, gecombineerd met conversatie-AI, de communicatie tussen mens en robot natuurlijker en emotioneler maken. Lipson noemt gezichtsuitdrukking “de ontbrekende schakel” in robotica en verwacht dat expressieve gezichten van humanoïde robots een grotere rol gaan spelen in sectoren als onderwijs, entertainment, zorg en ouderenzorg.
De onderzoekers benadrukken dat deze technologie niet alleen sociale interactie met machines kan verdiepen, maar ook ethische en veiligheidsvragen oproept. Lipson zegt dat het team bewust voorzichtig te werk gaat om voordelen en risico’s zorgvuldig tegen elkaar af te wegen.
