Unsloth сжала открытую модель MiniMax M3.1 Flash до 144 ГБ
Двухбитной версии модели MiniMax на 428 млрд параметров нужно около 150 ГиБ памяти (примерно 161 ГБ), и в 91,5% случаев она выбирает то же следующее слово или его часть, что и оригинал.
Unsloth1 выпустила сжатые версии открытой модели MiniMax M3.1 Flash. Двухбитная занимает 143,9 ГБ и, по замерам Unsloth, в 91,5% случаев выбирает тот же следующий токен2, что и оригинал.
Почему это важно: версии модели на 428 млрд параметров без потерь качества нужно около 272 ГиБ памяти, а двухбитной — около 150 ГиБ. Это может быть оперативная память вместе с памятью видеокарты или единая память, общая для процессора и графики.
Предыстория: MiniMax выпустила модель 19 октября для программирования и агентов, а 23 октября открыла её веса. Чтобы развернуть её у себя, компаниям нужно разрешение MiniMax, если продукты и услуги на этой модели приносят больше 20 млн долларов выручки в год.
Повод: MiniMax дала Unsloth ранний доступ к модели и сама рассказала о сжатых версиях в соцсети X. По словам компании, они снижают требования к памяти для тех, кто хочет держать модель на своих машинах.
В цифрах: версии Unsloth, их размер, нужная память и совпадение с оригиналом.
| Версия | Размер | Память | Совпадение |
|---|---|---|---|
| 1 бит | 129,4 ГБ | 134 ГиБ | ≈89,9% |
| 2 бита | 143,9 ГБ | 150 ГиБ | 91,5% |
| 4 бита | 249,4 ГБ | 256 ГиБ | 98,0% |
| 8 бит, без потерь | 259,1 ГБ | 272 ГиБ | — |
Память — оценка Unsloth в гибибайтах (ГиБ) для контекста в 16 тыс. токенов, размер файлов — в обычных гигабайтах. Совпадение — как часто сжатая версия ставит на первое место тот же токен, что и оригинал, в среднем по семи областям; прочерк — общей цифры нет.
Детали: Unsloth сравнивала ответы в семи областях — от программирования и математики до работы с инструментами и агентных задач.
- Двухбитная версия совпадает с оригиналом в 91,2% случаев на коде, в 88,5% — в обычной переписке и в 95,7% — в математике.
- Четырёхбитная поднимает эти показатели до 97,6%, 97,3% и 99,0% соответственно.
- По замерам Unsloth, её трёхбитная версия на 194 ГБ во всех семи областях обходит четырёхбитную на 230 ГБ, сжатую стандартными средствами llama.cpp3.
Интрига: восьмибитная версия весит всего на 9,7 ГБ больше четырёхбитной. MiniMax применила квантизацию4 ещё при обучении и хранит основную часть весов в четырёхбитном формате. Поэтому восьмибитная версия Unsloth переводит оригинал в другой формат без потерь.
Как это работает: модель запускают в открытом приложении Unsloth Desktop для macOS, Windows и Linux или в программе llama.cpp.
- Через Unsloth модель можно запустить как сервер на своей машине: он принимает запросы в формате API OpenAI, поэтому к нему можно подключить готовые приложения и агентов.
- Модуль DSpark от MiniMax весом 2,1 ГБ угадывает следующие токены наперёд, а основная модель их проверяет. В тестах Unsloth ответы на задачи по коду и математике модель выдавала примерно в 1,5 раза быстрее, в обычном чате прирост меньше.
Но: у сжатых версий есть ограничения.
- В памяти нужно держать все веса модели, хотя на каждый токен работают только 23 млрд из 428 млрд параметров.
- Оценки памяти даны для контекста в 16 тыс. токенов. Длинный контекст (модель держит до 1 млн токенов), картинки и DSpark требуют больше.
- Для llama.cpp нужна версия с поддержкой M3.1: Unsloth советует самому собрать программу из исходного кода, добавив предложенную в проект правку №31192.
- MiniMax предупреждает, что результаты в тестах получены на официальных весах, а у сторонних сжатых версий они могут отличаться.