Ministral 3 3B

Ministral 3 3B — самая маленькая модель линейки Ministral 3. Mistral выпустила её вместе с моделями на 8 и 14 млрд параметров и флагманской Mistral Large 3. Она плотная, то есть при каждом ответе работают все её параметры. Внутри два блока: языковая часть на 3,4 млрд параметров и кодировщик изображений на 0,4 млрд. По техническому отчёту Mistral, модель получили каскадной дистилляцией: более крупную модель поэтапно урезали и дообучали, чтобы маленькая переняла её знания.

Как и у других моделей линейки, у неё три варианта: базовый для дообучения, инструктивный для чата и вариант с рассуждениями для сложных задач. Ministral 3 8B и 14B сильнее, но им нужно больше памяти. Вариант на 3B рассчитан на работу прямо на устройстве, без облака. По карточке модели на Hugging Face, в формате FP8 она помещается в 8 ГБ видеопамяти, а после более сильного сжатия весов (квантизации) ей хватает и меньшего объёма. Mistral называет готовые сборки для ноутбуков и компьютеров с видеокартами Nvidia RTX, для DGX Spark и для плат Jetson.

Mistral советует брать её для подписей к картинкам, сортировки текстов по темам, перевода на лету, извлечения данных из документов и коротких текстов. Модель умеет вызывать функции, то есть обращаться к внешним программам и сервисам, и отдавать ответ в формате JSON. По словам разработчиков, она хорошо следует системному запросу — заданной заранее инструкции. Компания заявляет, что модель знает больше 40 языков, среди них английский, французский, немецкий, китайский, японский и арабский. Её выбирают там, где мало вычислительных ресурсов и важны цена и скорость.

У лаборатории есть рекомендации по работе с моделью. Для рабочей среды она советует ставить температуру ниже 0,1, чтобы ответы были более предсказуемыми. Набор инструментов лучше держать небольшим, а картинки подавать с соотношением сторон около 1:1. Веса открыты под лицензией Apache 2.0: модель можно дообучать, разворачивать без участия Mistral и встраивать в коммерческие продукты.

источники:Анонс Mistral 3 ↗Карточка модели на Hugging Face ↗Документация Mistral ↗