Ministral 3 14B

Ministral 3 14B — старшая из трёх плотных моделей линейки Ministral 3. В линейке есть версии на 3, 8 и 14 млрд параметров, Mistral выпустила их вместе с Mistral Large 3. Плотная модель при каждом ответе задействует все свои параметры, в отличие от смеси экспертов. Внутри у неё языковая модель на 13,5 млрд параметров и кодировщик изображений на 0,4 млрд, поэтому она понимает картинки, а отвечает текстом. Как сказано в техническом отчёте, линейку получили из Mistral Small 3.1 на 24 млрд параметров. Большую модель шаг за шагом урезали и доучивали на её же ответах (каскадная дистилляция): сначала получилась версия 14B, из неё 8B, а из той — 3B.

Каждый размер выложен в трёх вариантах: базовый, настроенный на выполнение инструкций и рассуждающий. Mistral заявляет, что по качеству 14B не уступает более крупной Mistral Small 3.2 на 24 млрд параметров. В карточке модели компания сравнивает её с моделями того же размера. В Arena Hard у неё 0,551 против 0,427 у Qwen3 14B и 0,436 у Gemma 3 12B, в WildBench — 68,5 против 65,1 и 63,2. Рассуждающий вариант, по данным компании, набрал 85% на математической олимпиаде AIME 2025. Mistral также пишет, что модели Ministral 3 часто тратят на ответ на порядок меньше токенов, чем сопоставимые модели, при том же качестве.

Модель рассчитана на работу на собственном оборудовании. В формате FP8, где каждое число хранится в 8 битах, она помещается в 24 ГБ видеопамяти, то есть на одну видеокарту. После квантизации, то есть ещё более сильного сжатия весов, памяти нужно меньше. Mistral предлагает её для закрытых установок, где данные не должны покидать компанию, а также для локальных агентов, собственных чат-ассистентов и дообучения под узкую задачу. Она вызывает внешние инструменты, отдаёт ответ в формате JSON и, по словам компании, строго следует системному запросу — инструкциям, которые задаёт разработчик.

Веса открыты под лицензией Apache 2.0: модель можно встраивать в коммерческие продукты, менять и дообучать без отдельного разрешения Mistral. При этом это малая модель. Компания сравнивает её с моделями на 12–14 млрд параметров, а не с передовыми. Для более сложных задач у Mistral есть линейки крупнее: Small, Medium и Large.

источники:Анонс линейки Mistral 3 ↗Карточка модели на Hugging Face ↗Документация Mistral ↗