Meta* запускает в США аватары ИИ-агентов в приложении Muse

Meta начала добавлять в приложение Muse в США аватары личных ИИ-агентов. Во время разговора они отвечают голосом, меняют выражение лица, жестикулируют и двигаются.

Предыстория: Meta показала технологию Muse Realtime Avatar 24 сентября на Connect. Теперь команда AI at Meta сообщила о её запуске в соцсети X. По мнению команды, аватары делают общение с личными агентами более естественным.

Детали: Технология создаёт собеседника по изображению или другому образцу внешности. Фотопортрет отвечает с помощью лёгкой мимики, а нарисованный персонаж в полный рост жестикулирует и меняет позу. Аватаром может стать также животное или предмет: система сохраняет их характерные черты от одной реплики к следующей.

Как это работает: Голосовая модель Muse Realtime Voice определяет содержание ответа и то, как он звучит. Один поток закодированной речи используется и для создания звука, и для генерации видео — это связывает голос, движения губ и выражение лица. Видео создаётся короткими фрагментами, каждый из которых опирается на недавно сгенерированные кадры. Так система сохраняет внешность и манеру движений персонажа, не увеличивая постоянно объём вычислений по мере разговора.

Чтобы сдерживать накопление ошибок, ускоренную модель обучали работать с собственными сгенерированными фрагментами. Одновременно она училась воспроизводить результат более медленной исходной модели. Для одного фрагмента видео ускоренной версии нужны два вычислительных прохода, а исходной — 120.

В цифрах: По замерам Meta, от окончания реплики пользователя до получения первых данных синхронного ответа с голосом и видео проходит около 870 мс. Видео передаётся с частотой 25 кадров в секунду. Один ускоритель NVIDIA GB200 поддерживает 12 одновременных сеансов генерации видео. Вместимость системы выросла в восемь раз относительно базовой двухшаговой версии. Среди оптимизаций — четырёхбитный формат чисел в вычислениях модели вместо 16-битного BF16: это снижает затраты на генерацию видео.

Расклад: Meta сравнила свою технологию с системами разговорных аватаров Runway Characters и HeyGen LiveAvatar в их собственных интерфейсах звонков. Оценщики по две-три минуты разговаривали с каждым продуктом, используя одинаковые образы персонажей. Они сравнивали качество изображения, синхронизацию, сохранение внешности и движения. По общему впечатлению участники этого сравнения чаще выбирали Muse Realtime Avatar.

Но: Возможности технологии шире набора аватаров в приложении: Meta предупреждает, что не все примеры из исследовательского блога доступны в Muse. Приложение предназначено для пользователей от 18 лет. В созданное видео система Meta Video Seal встраивает невидимый цифровой водяной знак, позволяющий установить его происхождение.