Mistral Large 3

Mistral Large 3 — самая большая модель линейки Mistral 3, которую компания выпустила вместе с малыми моделями Ministral 3. Она устроена как смесь экспертов (mixture of experts): на каждый токен работает лишь часть сети. Всего в модели 675 млрд параметров, из них одновременно задействовано 41 млрд. Картинки она разбирает отдельным визуальным кодировщиком на 2,5 млрд параметров. По словам Mistral, модель обучили с нуля на 3000 видеокартах NVIDIA H200.

Для Mistral это первая модель со смесью экспертов со времён линейки Mixtral. Прежние версии Large были плотными: при ответе в них работали все параметры сразу. Компания заявляет, что по качеству Large 3 не уступает лучшим открытым моделям с дообучением под инструкции. На момент выхода она заняла второе место среди открытых моделей без режима рассуждений в рейтинге LMArena. Отдельно Mistral отмечает сильные результаты в разговорах на разных языках: модель поддерживает больше 40 языков.

Лаборатория советует брать модель для разбора длинных документов, как ассистента в чате, для сложных сценариев с вызовом инструментов, для корпоративной работы со знаниями и для программирования. Она умеет отвечать в заданном формате (структурированный ответ) и вызывать функции внешних программ, поэтому подходит для агентов — программ, которые сами выполняют задачи по шагам.

Сама Mistral называет три ограничения. Это не модель рассуждений: версию, которая «думает» перед ответом, компания обещала выпустить позже. С картинками она справляется хуже специализированных визуальных моделей. Запустить её у себя непросто: даже в сжатом формате FP8 нужен целый сервер с видеокартами H200 или B200. Веса открыты под лицензией Apache 2.0, она разрешает и коммерческое использование.

источники:Анонс линейки Mistral 3 ↗Документация Mistral Large 3 ↗Карточка модели на Hugging Face ↗