Qwen4-Max заняла 11-е место в Vals Index и прибавила в коде и финансах
В сводном рейтинге Vals AI новая модель Alibaba стала лучшей из китайских. Рост ей дали код и финансы, а налоговые задачи она решает хуже предшественницы.
Новая флагманская модель Alibaba Qwen4-Max заняла 11-е место в Vals Index и стала в нём лучшей из китайских моделей. Vals Index — сводный рейтинг независимой компании Vals AI. Аккаунт Qwen в соцсети X процитировал этот замер и выделил рост в программировании и финансах.
Детали: Vals AI оценивает модели на тестах, где модели работают как агенты, то есть сами выполняют многошаговые задачи. Индекс сводит задачи из финансов, программирования, права и налогов, а вес каждой отрасли зависит от её доли в ВВП США. Больше всего на итог влияют финансы, на втором месте — код. В финансах это, например, работа аналитика (тест Finance Agent), в коде — действия в командной строке (Terminal-Bench 4.0) и сборка веб-приложений с нуля (Vibe Code Bench). Замеры Vals AI проводит сама, но не все тесты придумала: Terminal-Bench 4.0 — открытый набор, задания для него присылают участники сообщества.
В цифрах: Qwen4-Max набрала в индексе 63,2%. Сентябрьская версия прежнего флагмана Qwen3.8-Max набирает 59,05% и стоит 18-й. Первое место занимает Claude Fable 5.2 с 71,31%.
Результаты в отдельных тестах индекса:
| Тест | Qwen4-Max | Qwen3.8-Max |
|---|---|---|
| Finance Agent | 66,68% | 58,83% |
| Terminal-Bench 4.0 | 48,48% | 38,89% |
| Vibe Code Bench | 86,66% | 77,14% |
| Tax Agent Bench | 40,35% | 49,66% |
Цифры — с сайта Vals AI на 15 ноября.
Но: выросли не все результаты. В налоговых задачах (Tax Agent Bench) новая модель заметно уступает предшественнице. В двух юридических тестах итоги разошлись: искать ответы на правовые вопросы в судебных решениях и других источниках модель стала хуже, а выполнять юридическую работу с документами, таблицами и презентациями — лучше. В построении финансовых моделей в Excel результат почти не изменился. У права и налогов в индексе небольшой вес.
Vals Index — не первый рейтинг, которым Qwen отмечает новую модель. Alibaba только что выпустила Qwen4-Max, и в тот же день модель стала лучшей китайской в Agent Arena — рейтинге, где модели в роли ИИ-агентов выполняют реальные задачи пользователей с помощью программных инструментов. Ещё она вошла в пятёрку Design Arena по презентациям. Но в Design Arena модели сравнивают по голосам пользователей, а Vals AI ставит оценки по тестам.