Робот вчиться синхронізувати рухи губ з мовою

[This post contains advanced video player, click to open the original website]

Інженери Колумбійського університету створили роботизоване обличчя, здатне вчитися рухати губами синхронно з мовою та співом, спостерігаючи за собою у дзеркалі, а також за людьми у відео. Мета – зробити людиноподібних роботів менш «жахливими» при безпосередньому спілкуванні.

У дослідженні, опублікованому в журналі Science Robotics, команда описує двоетапний підхід до навчання на основі спостереження, а не програмування фіксованих правил для рухів обличчя.

[Ход Ліпсон, розробник]:
«У цьому проєкті ми застосували ШІ, щоб навчити робота правильно використовувати свої губи».

Спочатку роботизоване обличчя, яким керують 26 моторів, генерувало тисячі випадкових висловів, дивлячись у дзеркало, і навчалося тому, як команди моторів змінюють форму рота.

Потім система переглядала записи розмов і співу людей і вчилася тому, як рухи рота людини співвідносяться зі звуками, які вона видає.

[Ход Ліпсон, розробник]:
«Це навчання є певною моделлю взаємодії моторів та обличчя. Потім, використовуючи отриману інформацію про те, як він рухається і як рухаються люди, він може об’єднати ці дані й навчитися керувати своїми моторами у відповідь на різні звуки та аудіо».

За словами дослідників, використовуючи обидві моделі робот міг перетворювати аудіосигнал в скоординовані моторні дії та синхронізувати рухи губ різними мовами і в різних контекстах, не розуміючи змісту аудіо.

Результати не ідеальні: команда повідомила про труднощі з відтворенням деяких звуків.