EMO: Ракмос на усните со синхронизација за повторно обликување на интеракцијата човек-робот со силиконско лице робот
Роботот наречен EMO, развиен на Универзитетот Колумбија, не само што производи звуци; тој учи да зборуваCoordединирајќи ги движењата на усните и лицето слично на човека. Со стекнување на способност за синхронизација на усните, EMO има за цел да ја направи интеракцијата човек-робот по натурален и побезпроблемен начин.
Процесот на развој вклучува учење на роботот како да ги движи своите лица преку набљудување на сопствените движења. Тимот, предводен од студентот по докторски студии Јуханг Ху и проф. Ход Липсон, го дизајнираше EMO како глава покриена со флексибилно силиконско лице. Под ова лице се наоѓаат 26 мали мотори кои со различни комбинации можат да произведат многу изрази и движења на усните.
Како функционира процесот на учење на EMO? Истражувачите започнаа со поставување на роботот пред огледало за да ја започнат фазата на учење. Додека EMO создава илјадници лицешни изрази, тој ги набљудува своите слики и почнува да открива кои моторски комбинации произведуваат одредени визуелни резултати. Овој пристап се заснова на методата позната како VLA (Vision-Language-Action), која ја опишува трансформацијата од визуелен сигнал во акција. Така, роботот може без човечка интервенција да ја разбере врската меѓу движењата на лицето и моторната контрола.
Во наредната фаза, EMO анализираше видеозаписи од говор и песна што ги сниле луѓето за да ја засилат синхронизацијата на усните. За време на часови на проверка на YouTube, роботот научи да разликува кој звук се создава со одредени движења на устата и усните. Со интегрирање на овие набљудувања со информациите за моторите, системот создава движења на устата соодветни на изговорените зборови од создадениот звучен модула.
Иако сè уште постојат недоследности, се верува дека за подобрување на усогласеноста меѓу движењата на усните и звуците потребни се повеќе податоци. Особено при ситуации каде што треба целосно да се затворат или да се извиткаат усните за звуци како B и W, се јавуваат предизвици; сепак, овие проблеми може да се решат со зголемување на податоците. Како и кај луѓето, со пракса се подобрува моторната контрола и усогласеноста со звукот и изразите.
Јуханг Ху нагласува дека комбинацијата од напредната говорна вештачка интелигенција со способноста за синхронизација на усните ќе даде ново ниво на човек-робот односите. Интегрирањето на роботот со јазични модели (како ChatGPT или Gemini) не само што помага да се градат точни реченици, туку и може да покаже експресии со лице што одговараат на емоционалниот тон на разговорот. Со зголемувањето на способностите за набљудување, мимиката и гестовите стануваат по чувствителни на контекстот, овозможувајќи поефикасна примена во области како образованието, здравството и услугите за корисници.
