Модель · Qwen
Qwen2.5-VL 72B Instruct
Устаревшая открытая модель Qwen, которая понимает картинки, документы и видео, — её сменили линейки Qwen3
вышла 1 сентября 2024
Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиШкала условная (Claude 3.5 Sonnet = 130, GPT-5 = 150); интервал — 90-процентный диапазон оценки, и модели с перекрывающимися интервалами надёжно не различаются.Подробнее на английском ↗
155 место из 266
индекс 129, вероятный разброс 124–131 · весь рейтинг →
| Бенчмарк | РезультатОбычно — доля заданий теста, которые модель решила. У некоторых тестов свой счёт; как он устроен, сказано в пояснении к названию теста | УсилиеНасколько долго модель рассуждала перед ответом, когда её проверяли: низкое, среднее, высокое, очень высокое, максимальное. Чем выше усилие, тем обычно выше результат — и тем дольше и дороже ответ. Показан лучший результат и усилие, на котором он получен |
|---|---|---|
| DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗ | 38,2% | |
| LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗ | 15,8% | |
| METR Time HorizonsНасколько долгие для человека задачи по программированию, машинному обучению и кибербезопасности агент решает самостоятельноРезультат — не процент, а время: длительность задачи (по времени работы эксперта), которую модель решает примерно в половине случаев.Подробнее на английском ↗ | 35,8% | |
| GeoBenchПо фотографии улицы, как в игре GeoGuessr, модель должна угадать страну и точные координаты местаРезультат — очки, а не проценты: до 5000 за раунд, и чем дальше догадка от настоящего места, тем меньше очков.Подробнее на английском ↗ | 62,0% | |
| WeirdMLНеобычные задачи по машинному обучению: модель пишет код, который на выданных данных обучает классификатор, например для распознавания фигурБалл — средняя точность обученных моделью классификаторов, а не доля решённых задач.Подробнее на английском ↗ | 16,0% | |
| OTIS Mock AIME 2024-202545 олимпиадных задач по математике из пробных экзаменов AIME школы OTIS; ответ — целое число от 0 до 999Подробнее на английском ↗ | 8,0% | |
| The Agent CompanyРабочие задачи в модельной IT-компании: программирование, управление проектами, кадры, финансы, переписка с «коллегами»За частично выполненную задачу начисляются частичные баллы — по пройденным контрольным точкам.Подробнее на английском ↗ | 5,7% | |
| BalrogМодель играет в шесть текстовых и клеточных игр, от простых головоломок до NetHack, где нужно выжить и продвинутьсяБалл — средний прогресс от 0 до 100 по всем играм; в NetHack даже лидеры продвигаются очень мало.Подробнее на английском ↗ | 16,2% | |
| OSWorldАгент выполняет задачи на настоящем компьютере — в Ubuntu, Windows и macOS, в обычных программах и браузере, иногда в нескольких сразуЛюди в этом тесте справляются примерно с 72% задач, так что результат около этого уровня уже соответствует человеческому.Подробнее на английском ↗ | 5,0% | |
| GPQA diamond198 вопросов с выбором ответа по физике, химии и биологии уровня аспирантуры — такие, что ответ не найти поискомСлучайный выбор даёт 25%, а специалисты с учёной степенью в своей области набирают около 70%.Подробнее на английском ↗ | 32,2% | |
| BBH23 самых трудных задания из набора BIG-Bench — логика, счёт, понимание текста, где нужно рассуждать в несколько шаговТест почти насыщен: современные модели набирают близкие высокие баллы.Подробнее на английском ↗ | 73,1% | |
| MATH level 5Самые трудные задачи (5-й уровень) из набора MATH — задачи американских школьных олимпиад AMC 10, AMC 12 и AIMEТест близок к насыщению: у сильных моделей результаты почти одинаковые и высокие, разница в несколько пунктов мало что значит.Подробнее на английском ↗ | 63,2% | |
| MMLUВопросы с четырьмя вариантами ответа из десятков областей: гуманитарные и естественные науки, социальные науки, профессиональные знанияТест почти насыщен: сильные модели набирают около 90% и выше, и разница между лидерами мала, а часть промахов приходится на ошибки в самом тесте.Подробнее на английском ↗ | 80,4% | |
| PIQAБытовая физическая смекалка: из двух способов выполнить житейское действие выбрать тот, что сработаетЛюди отвечают верно примерно в 95% случаев; тест почти насыщен, и сильные модели различаются слабо.Подробнее на английском ↗ | 65,2% | |
| Winogrande44 тыс. предложений, где нужно понять, к кому или чему относится местоимение — проверка здравого смысла, а не знанийТест почти насыщен: люди решают около 94%, сильные модели близки к этому, и лидеры различаются слабо.Подробнее на английском ↗ | 64,6% | |
| HellaSwagОписание бытовой ситуации и несколько вариантов продолжения — нужно выбрать самое правдоподобное; проверка здравого смыслаТест почти насыщен: люди решают больше 95%, сильные модели близки к этому, и лидеры различаются слабо.Подробнее на английском ↗ | 79,7% | |
| ARC AI2Вопросы по естественным наукам с вариантами ответа из школьных экзаменов для младших и средних классовПодробнее на английском ↗ | 92,7% | |
| TriviaQAВопросы из викторин на общую эрудицию, составленные любителями викторин: модель должна дать короткий точный ответПодробнее на английском ↗ | 71,9% |
Характеристики
- Вышла
- 1 сентября 2024
- КонтекстСколько текста модель учитывает за один запрос: вопрос, приложенные документы и её собственный ответ вместе. Токен — кусок слова; слово обычно занимает один–три токена
- 131 тыс. токенов
- Длина ответаСколько токенов модель может выдать за один ответ, вместе со скрытыми рассуждениями, если они есть
- до 8,2 тыс. токенов
- Цена входаСколько стоит миллион токенов, отправленных модели: вопрос, документы, вся история переписки
- $2,80 за миллион токенов
- Цена ответаСколько стоит миллион токенов, написанных моделью, — включая скрытые рассуждения
- $8,40 за миллион токенов
- Понимает
- текст, изображения
- Отвечает
- текст
- РассужденияПеред ответом модель рассуждает про себя: медленнее и дороже, зато точнее на трудных задачах
- нет
- Вызов инструментовМодель сама просит программу выполнить действие — поиск, запуск кода, запрос к сервису — и продолжает с результатом. На этом держатся агенты
- да
- ВесаОткрытые — файлы модели можно скачать и запустить на своих серверах. Закрытые — доступ только через сервис лаборатории
- открытые
- Знания до
- апрель 2024
- Идентификатор в API
- qwen2-5-vl-72b-instruct
Что это за модель
Qwen2.5-VL 72B Instruct — самая крупная из трёх моделей линейки Qwen2.5-VL (есть ещё версии на 3 и 7 млрд параметров). Это модель «зрение плюс язык»: она принимает картинки и видео вместе с текстовым запросом и отвечает текстом. Изображения разбирает отдельный визуальный кодировщик. Он работает с картинками в их родном разрешении, а чтобы тратить меньше вычислений, смотрит на изображение по частям — окнами. Приставка Instruct значит, что модель дообучена выполнять инструкции и вести диалог.
По сравнению с Qwen2-VL лаборатория научила модель лучше понимать время в видео и место на картинке. Модель смотрит ролики длиннее часа и находит в них нужный момент с точностью до секунды. Объекты на изображении она указывает рамками или точками в реальных пикселях, а координаты и признаки выдаёт в стабильном формате JSON. Документы, журнальные страницы, веб-страницы и скриншоты она раскладывает на структуру в собственном формате Qwen на основе HTML. По замерам лаборатории, у неё 70,2 балла в MMMU, 74,8 в MathVista и 96,4 в DocVQA. Компания отдельно выделяет понимание документов и диаграмм.
Модель берут, чтобы извлекать данные из счетов, форм и таблиц, читать графики и текст на снимках, разбирать видео. Ещё она работает как визуальный агент: по скриншотам управляет компьютером или телефоном и вызывает инструменты, причём специально под эти задачи её не обучали. Сейчас у Qwen есть десятки более новых моделей, а в рейтинге Epoch эта модель стоит в середине. Для новых проектов её выбирают редко.
Веса открыты, но у 72B своя лицензия Qwen, а не стандартная открытая. Условия использования стоит прочитать до коммерческого запуска. Лаборатория предупреждает: если растягивать контекст методом YaRN, модель заметно хуже находит события во времени и объекты в пространстве. Поддержка видео по ссылке зависит от версии библиотеки, через которую модель запускают.
Источники: Анонс Qwen2.5-VL в блоге Qwen, Карточка модели на Hugging Face
Того же уровня по индексу Epoch
-
Qwen2.5 32B Instruct
Qwen160-е место в Epochконтекст 131 тыс.$0,70 / $2,80открытые весадешевле в 3 раза
-
Mistral Large 2.1
Mistral161-е место в Epochконтекст 131 тыс.$2 / $6открытые весадешевле
-
GPT-4o mini
OpenAI170-е место в Epochконтекст 128 тыс.$0,15 / $0,60дешевле в 14 раз
-
Mistral Small 3.2
Другие модели семейства
-
-
-
-
-
-
-
-
Новости о модели
- 01
- 02
- 03
Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).