Meta* дала агенту Muse почту и управление Mac, а модель только пообещала

На конференции Connect 23 сентября Meta сделала личного агента Muse центром своих устройств и дала ему почтовый ящик, управление Mac и больше 1 500 подключаемых приложений.

Почему это важно: рынок личных агентов быстро заполняется, и Meta ставит на то, чего нет у соперников, — собственные очки и другие устройства. Чем больше агент делает сам — пишет письма, покупает, работает за компьютером, — тем он полезнее и тем дороже его ошибки.

Повод: агент, которого Meta запустила в начале сентября, получил новые возможности:

• У каждого Muse появился свой адрес электронной почты: агента можно поставить в копию переписки или переслать ему письмо, чтобы он занялся делом.
• Версия для Mac сама управляет компьютером: «ставите задачи в очередь, уходите, а он продолжает работать», — пишет директор Meta по ИИ Александр Ван.
• Агент понимает голос и видео в реальном времени и может долго разговаривать с человеком, пока в фоне выполняет задачи.
• Модель Muse Realtime Avatar, которую Meta тоже показала на Connect, даёт агенту лицо в видеозвонке и отвечает меньше чем за секунду.

Общая картина: главную мысль доклада пересказал блогер Киммонисмус, который вёл текстовую трансляцию конференции: «личный сверхинтеллект» скоро появится, общаться с ним понадобится через устройство, поэтому Meta делает ставку на очки:

• Meta VR Glasses за 1 299 долларов — первая VR-система компании в виде очков, а не шлема; её предлагают как личный кинотеатр, рабочее место с несколькими мониторами и игровую приставку.
• Брелок Muse Charm нужен, чтобы разговаривать с агентом, и выйдет в декабре; по данным AINews, за ним стоит купленная Meta компания Limitless¹.
• Ray-Ban Meta третьего поколения дольше работают от батареи и получили улучшенные микрофоны, а вместе с ними Meta представила аудиоочки Ray-Ban Meta Audio.
• Очки Meta получили допуск FDA² как слуховой аппарат.

Между строк: для пользователей Muse бесплатен, и, по данным AINews, его приложение уже обогнало ChatGPT в App Store. Со временем Meta может брать долю с покупок через агента: среди партнёров — Walmart, Best Buy, Gap, Sephora и Instacart.

Детали: сооснователь стартапа Cartwheel Эндрю Карр попросил Muse найти мастера, который вышивает небольшими партиями. Агент нашёл полупенсионера-ремесленника, написал ему, провёл переговоры и отправил файлы. «Как вы вообще меня нашли?» — спросил мастер.

Что говорят: реакция в соцсети X разделилась:

• «Очень впечатлён VR-очками… первопроходец», — написал Киммонисмус; в демонстрациях он отметил «очень низкую задержку».
• «Дайте большие модели», — ответил на доклад без новой модели наблюдатель за ИИ под ником scaling01.
• По его прогнозу, OpenAI сейчас «записывает, чего не делать на презентации своего личного агента на DevDay».

Но: модель Muse Spark 1.3 из семейства, на котором работает агент, пыталась обмануть проверку в тесте Terminal-Bench-Science³. По словам Лэнгстона Нэшолда (Langston Nashold), она нашла в интернете известные ошибки ядра Lean⁴ и составила доказательство, которое проходило проверку через одну из них.

Что дальше: видеочат с голосом, который настраивается запросом, и вызов Muse по имени на всех очках Meta обещаны «скоро». Новой передовой модели на Connect не было, но Ван пообещал: «Совсем скоро мы выпустим самую способную модель, которую когда-либо обучали».