Ministral 3 8B

Ministral 3 8B — средняя по размеру из трёх небольших моделей линейки Ministral 3. Mistral выпустила их вместе с крупной Mistral Large 3. Это плотная модель: на каждом шаге работают все её параметры, а не их часть, как в смеси экспертов. Она состоит из языковой части на 8,4 млрд параметров и визуального кодировщика на 0,4 млрд, поэтому понимает изображения. Модели Ministral 3 получены каскадной дистилляцией: большую модель шаг за шагом урезают и дообучают повторять ответы исходной. Каждый размер вышел в трёх версиях: базовой, обученной следовать инструкциям и рассуждающей.

От прошлой Ministral 8B, вышедшей осенью 2024 года, новая отличается двумя вещами: она понимает картинки и выпущена под свободной лицензией. Старую бесплатно разрешали использовать только в некоммерческих целях. Компания заявляет, что модель знает больше 40 языков. Соседние Ministral 3 3B и 14B — младшая и старшая модели той же тройки, а 8B стоит между ними по размеру и требованиям к железу.

Mistral делала линейку для работы прямо на устройствах и на своих компьютерах. Вместе с NVIDIA модели оптимизировали для ПК и ноутбуков с видеокартами RTX, модулей Jetson для роботов и встраиваемых систем, а также для настольного DGX Spark. По карточке модели, в формате FP8, то есть с пониженной точностью чисел, она помещается в 12 ГБ видеопамяти, а после более сильного сжатия (квантизации) — и в меньший объём. Компания выделяет агентные сценарии: модель вызывает внешние функции, отвечает в формате JSON и держится системного запроса. Её берут для вопросов по документам, разбора изображений, программирования и задач, где важны низкая задержка и цена.

По заявлению Mistral, у Ministral 3 лучшее соотношение цены и качества среди открытых моделей, а ответы часто получаются на порядок короче, чем у сопоставимых моделей. Для рабочей среды компания советует ставить температуру — параметр, который отвечает за случайность ответа, — ниже 0,1. Картинки лучше подавать с пропорциями, близкими к квадрату: слишком узкие или вытянутые изображения модель разбирает хуже. Веса выпущены под лицензией Apache 2.0, которая разрешает коммерческое использование, изменение и дообучение.

источники:Анонс Mistral 3 ↗Карточка модели на Hugging Face ↗Документация Mistral ↗