Alibaba представила трёх ИИ-агентов, которые сами действуют в смартфоне

Alibaba представила Qwen Intelligence — набор из трёх ИИ-агентов для смартфонов, которые разбивают просьбу на шаги, сами действуют в приложениях и рисуют картинки. О запуске команда Qwen объявила 23 сентября в соцсети X.

Почему это важно: Alibaba рассчитывает, что телефону будут давать поручения: человек описывает задачу целиком, а агент сам проходит по нужным приложениям. Систему компания предлагает производителям смартфонов — встраивать в свои устройства.

Расклад: У каждого агента своя роль:

• Mobile Planner Agent планирует: делит сложную просьбу на подзадачи, раздаёт их инструментам и другим агентам и помнит прошлые разговоры.
• Mobile-Use Agent выполняет: сначала обращается к приложению через его программный интерфейс, а если так нельзя — жмёт кнопки на экране, как человек.
• Mobile Creative Agent по одной фразе делает готовую картинку за 3 секунды — по словам Alibaba, примерно вдвое быстрее ведущих конкурентов.

Детали: В демонстрации пользователь просит найти в Douyin¹ самый сохраняемый пост с рецептом говядины в кисло-остром супе с маракуйей и заказать продукты для него в Freshippo² с доставкой к 18:45. Агент переносит список ингредиентов из одного приложения в другое, пропускает приправы и оформляет заказ.

В цифрах:

• Планировщик Qwen-Planner-Agent на 27 млрд параметров набрал 77,05% в MobilePA-Bench — тесте на планирование задач в телефоне.
• Это на 9,83 процентного пункта больше, чем у исходной модели, с которой команда начинала обучение.
• Сгенерированный планировщиком текст на 1 000 задач стоит около 2,41 доллара; входные данные и плата за инструменты в оценку не входят.
• Исполнитель набрал 82,1% в MobileWorld, где задачи охватывают несколько приложений; у Seed2.1 Pro от ByteDance — 73,2%.

Интрига: Агента во многом строил сам ИИ. Агенты составляют задачи для обучения, записывают прогоны, проверяют их и разбирают неудачи, а по итогам команда отбирает данные и дорабатывает планировщик.

Но: Сравнение сделала сама Alibaba:

• Рекорды на мобильных задачах поставлены на собственных тестах компании: MobilePA-Bench и MobileWorld разработала она сама.
• На стороннем OSWorld-Verified³, где агент управляет обычным компьютером, впереди Claude Opus 4.8: 83,4% против 79,5% у агента Alibaba.
• Результаты конкурентов команда перемеряла в своей среде, и часть настроек отличается от официальных замеров.

Если шире: Свои тесты для мобильных агентов — MobilePA-Bench, MobileWorld, MobileWorld-Real и MobileWorld-Safety — Alibaba выложила в открытый доступ вместе с таблицей лидеров. По ним можно проверять и агентов других компаний: на планирование, работу в нескольких приложениях, на реальных устройствах и на безопасность.

Веса моделей и код агентов Alibaba не выложила: в репозитории планировщика лежат только блог и технический отчёт.