Magistral Small

Что это за модель

Первая рассуждающая модель Mistral. Перед ответом она выстраивает цепочку рассуждений: решает задачу по шагам и только потом выдаёт итог. В ней 24 млрд параметров. Её получили из обычной чат-модели лаборатории: сначала дообучили на примерах рассуждений, потом применили обучение с подкреплением, то есть награждали за верные решения. Модель вышла в паре со старшей Magistral Medium. Medium закрытая и рассчитана на корпоративных клиентов, а младшую версию выложили в открытый доступ для сообщества.

Mistral обновляла модель несколько раз. В сентябрьской версии 1.2 лаборатория добавила понимание картинок и улучшила оформление ответов. Кроме того, модель реже застревает в бесконечном повторе текста, а рассуждения теперь отделены от ответа специальными метками. По замерам Mistral, на олимпиадном тесте AIME 2024 первая версия набирала 70,7%, а версия 1.2 — 86,1%. На тесте научных вопросов GPQA Diamond у версии 1.2 70,1%, на тесте программирования LiveCodeBench — 70,9%.

Модель берут для задач, где нужны проверяемые шаги: математика, логика, программирование, разбор сложных решений. Компания подчёркивает, что рассуждения можно прочитать и проверить ход мысли. Рассуждать модель умеет на многих языках, в том числе на русском, французском, арабском и китайском. После квантизации, то есть сжатия весов, она помещается на одну видеокарту RTX 4090 или на MacBook с 32 ГБ памяти.

Веса распространяются по лицензии Apache 2.0, она разрешает и коммерческое применение. Лаборатория предупреждает, что после примерно 40 тысяч токенов качество может падать, хотя формально окно больше. Старшая Magistral Medium, по данным Mistral, решает задачи точнее и быстрее.

Источники: Анонс Magistral в блоге Mistral, Карточка модели версии 1.2 на Hugging Face