У дослідженні, опублікованому в журналі Science Robotics, команда описує двоетапний підхід до навчання на основі спостереження, а не програмування фіксованих правил для рухів обличчя.
[Ход Ліпсон, розробник]:
«У цьому проєкті ми застосували ШІ, щоб навчити робота правильно використовувати свої губи».
Спочатку роботизоване обличчя, яким керують 26 моторів, генерувало тисячі випадкових висловів, дивлячись у дзеркало, і навчалося тому, як команди моторів змінюють форму рота.
Потім система переглядала записи розмов і співу людей і вчилася тому, як рухи рота людини співвідносяться зі звуками, які вона видає.
[Ход Ліпсон, розробник]:
«Це навчання є певною моделлю взаємодії моторів та обличчя. Потім, використовуючи отриману інформацію про те, як він рухається і як рухаються люди, він може об’єднати ці дані й навчитися керувати своїми моторами у відповідь на різні звуки та аудіо».
За словами дослідників, використовуючи обидві моделі робот міг перетворювати аудіосигнал в скоординовані моторні дії та синхронізувати рухи губ різними мовами і в різних контекстах, не розуміючи змісту аудіо.
Результати не ідеальні: команда повідомила про труднощі з відтворенням деяких звуків.
Коротке посилання на цю сторінку:
