Qwen4-Max стала лучшей китайской моделью в рейтинге Arena для агентов
Новая модель Alibaba заняла 14-е место в Agent Arena, где модели управляют ИИ-агентами — помощниками, которые сами выполняют реальные задачи пользователей с помощью программных инструментов. Qwen3.8-Max там была 39-й.
Новая флагманская модель Alibaba Qwen4-Max дебютировала на 14-м месте в Agent Arena1. В этом рейтинге Arena сравнивает модели по реальной работе пользователей с ИИ-агентами. Выше Qwen4-Max нет ни одной китайской модели, а прошлая версия, Qwen3.8-Max, стояла 39-й.
Как это работает: люди поручают агенту на сайте Arena свои задачи, от программирования до офисных документов, а модель, которая им управляет, система выбирает случайно. Оценка Qwen4-Max построена на 14 700 таких сессиях. Её «чистый прирост» +7,5% показывает, на сколько процентных пунктов модель обходит среднюю модель рейтинга, если усреднить несколько показателей.
Расклад: по подсчёту Arena, Alibaba стала первой среди китайских лабораторий и пятой в целом — после Anthropic, Google, OpenAI и Meta*. Лучшие китайские модели рейтинга, по данным Arena:
| Модель | Место | Прирост |
|---|---|---|
| Qwen4-Max | 14 | +7,5% |
| Hy4 (Tencent) | 19 | +5,7% |
| Kimi K3.1 Pro (Max) | 21 | +4,0% |
| MiMo-V2.6-Pro (Xiaomi) | 26 | +1,5% |
| DeepSeek-V4.1-Flash (Max) | 30 | +1,1% |
Место — в общем рейтинге, прирост — по сравнению со средней моделью.
Детали: по видам задач Qwen4-Max 12-я в офисной работе, 14-я в общении и 16-я в программировании. Из сигналов, по которым Arena выставляет место, лучше всего модель выглядит в оценках самих пользователей, а хуже всего — в работе с командной строкой:
- Соотношение похвал и жалоб пользователей: 15-е место и +13%, лучший результат среди китайских моделей.
- Задачи, итог которых одобрил пользователь: 13-е место и +9%, тоже лучший результат среди китайских.
- Как мало поправок модель требует от пользователя, особенно повторных: 19-е место и +8%.
- Надёжность в командной строке: 29-е место и +3%.
Но: в своём репосте Qwen назвала эти 7,5% перевесом над Qwen3.8-Max. По методике Arena «чистый прирост» считают от средней модели рейтинга, а не от прошлой версии. Разница между двумя Qwen видна по их собственным оценкам в таблице Arena: 7,46% у Qwen4-Max и 0,87% у Qwen3.8-Max.
Alibaba выпустила модель 16 ноября и сделала её дешевле Qwen3.8-Max. В тот же день Qwen4-Max заняла шестое место в другом рейтинге Arena — по созданию сайтов.
* Meta Platforms Inc., которой принадлежат Facebook и Instagram, признана в России экстремистской организацией, её деятельность запрещена.