Сообщество сжало модель MiniMax M3.1 Flash для Mac и игровых видеокарт

MiniMax перечислила в соцсети X восемь работ, в которых команды и энтузиасты сжали её открытую модель M3.1 Flash на 428 млрд параметров. Среди них есть версии для компьютеров Mac, рецепт запуска на одном настольном компьютере NVIDIA DGX Spark и сборка из четырёх игровых видеокарт. По словам компании, так у модели появляется больше способов работать локально.

Предыстория: MiniMax выпустила M3.1 Flash 19 октября. Это модель для программирования и для агентов — программ, которые сами выполняют задачу шаг за шагом. 23 октября компания открыла её веса: опубликовала файлы с параметрами, которые модель получила при обучении. 26 октября Unsloth¹ выложила двухбитную версию на 143,9 ГБ и проверила её на программировании, вызове инструментов и других задачах. Эта работа тоже вошла в список MiniMax.

Как это работает: при квантизации каждый вес модели записывают меньшим числом битов. Модель занимает меньше памяти, а при генерации ответа из памяти приходится читать меньше данных. M3.1 Flash устроена как смесь экспертов: на каждом шаге работает только часть её блоков, и остальные можно держать не в видеопамяти, а в обычной оперативной памяти. По словам MiniMax, чтобы экономия пошла на пользу, нужны аккуратная калибровка, быстрые программы для вычислений с низкой точностью и продуманное размещение экспертов.

Детали: кроме версии Unsloth, MiniMax отметила такие работы:

• энтузиаст под ником ViC305 сделал версию SAGE-EXL3, сверил её ответы с оригиналом по отдельным токенам, то есть словам и их частям, и описал запуск на одном DGX Spark;
• один из разработчиков вместе с сообществом энтузиастов на Hugging Face подготовил версии для Mac на чипах Apple;
• AMD подготовила версию в формате MXFP4 для своих серверных ускорителей Instinct;
• ещё один энтузиаст запустил модель на четырёх видеокартах RTX 3090: в его сборке часть сжатых весов лежит в обычной оперативной памяти, а кэш экспертов держит на видеокартах уже загруженные блоки, чтобы не перекачивать их каждый раз заново.

Ещё три работы из списка — версии Project Maya для программирования и вызова инструментов на своём компьютере, сжатие EXL3-EAQ от MiaAI_lab и версии от Atomic Chat для работы на настольном компьютере.

Так уже было: 25 октября MiniMax так же перечисляла, как инженеры и энтузиасты ускорили её видеомодель H3 и перенесли её на Mac.