ИИтак

← Назад

модель · Mistral · вышла 29 апреля

Mistral Medium 3.5

Флагманская открытая модель Mistral для чата, программирования и агентов: рассуждения и код в одних весах

О модели

Mistral Medium 3.5 — плотная модель на 128 млрд параметров. «Плотная» значит, что на каждый токен работают все веса сразу, а не часть «экспертов», как в моделях со смесью экспертов. Сама Mistral называет её своей первой флагманской «объединённой» моделью. Одни и те же веса выполняют инструкции, рассуждают и пишут код. Картинки она понимает через визуальный кодировщик, который обучили с нуля. Он принимает изображения разных размеров и пропорций.

Раньше в линейке Mistral под разные задачи были разные модели. Для программирования была отдельная Devstral 2, и теперь Medium 3.5 заменила её в роли агента в консольном инструменте Vibe CLI. Кроме того, она стала моделью по умолчанию в чат-боте Le Chat. Глубину рассуждений задают в каждом запросе: без рассуждений ради быстрого ответа или на высоком уровне для сложных задач. По замерам лаборатории, модель набирает 77,6% на SWE-Bench Verified (исправление реальных ошибок в коде) и 91,4 на τ³-Telecom (агентные задачи с вызовом инструментов).

Модель берут для долгих агентных задач, программирования, работы с изображениями и многоязычных ассистентов. На ней работают удалённые агенты для программирования в Vibe и новый режим Work в Le Chat. Этот режим выполняет многошаговые задачи: исследования и процессы, в которых задействовано несколько инструментов. Модель поддерживает вызов функций и ответы в формате JSON.

Веса открыты под изменённой лицензией MIT. Её можно применять в коммерческих и некоммерческих целях, но для компаний с очень большой выручкой есть ограничения. Чтобы запустить модель у себя, по словам Mistral, хватит четырёх видеокарт. Это меньше, чем нужно огромным моделям, но для домашнего компьютера всё равно слишком много. В рейтинге Epoch модель занимает место в середине списка, заметно ниже передовых моделей других лабораторий.

Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиПодробнее на английском ↗

весь рейтинг

104место из 268индекс 141вероятный разброс 139–143

  • DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗59,1%
  • LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗30,7%
  • Surface Evolver Bench16 задач: описать для физической программы Surface Evolver форму жидкости под действием поверхностного натяжения, гравитации и ограниченийЗасчитывается частичное выполнение: отдельные баллы за корректный файл, успешный прогон симуляции и совпадение объёма, площади и энергии с эталоном.Подробнее на английском ↗26,9%
  • FrontierCodeМодель исправляет проблему в открытом проекте, а правку оценивают по тому, приняли бы её сопровождающие проектаБалл выставляют по критериям сопровождающих и усредняют по пяти запускам; если нарушен хотя бы один обязательный критерий, за задачу ставят ноль.Подробнее на английском ↗8,0%
  • ProofBench100 закрытых задач по математике уровня старших курсов и аспирантуры: модель пишет доказательство на Lean 4, его проверяет программаПодробнее на английском ↗9,0%
  • WeirdMLНеобычные задачи по машинному обучению: модель пишет код, который на выданных данных обучает классификатор, например для распознавания фигурБалл — средняя точность обученных моделью классификаторов, а не доля решённых задач.Подробнее на английском ↗43,7%

Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).