Mistral Small 3.2

Что это за модель

Mistral Small 3.2 — малая модель Mistral на 24 млрд параметров. Она понимает текст и картинки, а отвечает текстом. Это не новая модель с нуля, а доработка Mistral Small 3.1: архитектура и размер те же. Веса открыты под лицензией Apache 2.0, которая разрешает и коммерческое применение.

От версии 3.1 она отличается в трёх местах: лучше следует инструкциям, реже зацикливается и точнее вызывает внешние инструменты. По замерам лаборатории, точность выполнения инструкций во внутреннем тесте выросла с 82,75 до 84,78%, а бесконечных, зацикленных ответов стало примерно вдвое меньше. Сильнее всего выросли оценки в тестах, где ответы моделей сравнивают между собой: в Wildbench v2 — с 55,6 до 65,33%, в Arena Hard v2 — с 19,56 до 43,1%. В MMLU Pro, тесте на знания из разных областей, она набирает 69,06%. В тесте на программирование HumanEval Plus доля задач, решённых хотя бы с одной из пяти попыток, — 92,9%.

Её берут там, где нужны быстрые и дешёвые ответы: чат-помощники, извлечение данных из текстов и документов, автоматизация с вызовом инструментов, разбор изображений. Для версии 3.1 Mistral писала, что модель помещается на одну видеокарту RTX 4090 или Mac с 32 ГБ памяти, если её сжать. Ещё её удобно дообучать под узкую область, например юриспруденцию или медицину.

По уровню это рабочая лёгкая модель, а не передовая: в рейтинге Epoch она в середине списка. Лаборатория советует запускать её с низкой температурой, около 0,15, чтобы ответы были менее случайными, и с системным запросом из карточки модели. Без сжатия в формате bf16 ей нужно около 55 ГБ видеопамяти. В линейке Small её уже сменила Mistral Small 4.

Источники: Карточка модели на Hugging Face, Анонс Mistral Small 3.1