Квантизация
Приём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
проверено по: huggingface.co ↗
См. также
- КвантовательУстройство или часть алгоритма, которая заменяет непрерывные значения ближайшими из конечного набора. Скалярный квантователь округляет числа до заданных уровней, а векторный сопоставляет вектору ближайший код из кодовой книги. В нейросетях векторные квантователи превращают звук или изображение в дискретные токены, например в нейронных аудиокодеках. При сжатии моделей квантователь переводит веса в формат меньшей разрядности.
- Обучение с учётом квантованияОбучение с учётом квантования (QAT, quantization-aware training): в ходе обучения или дообучения в модель вставляют операции, имитирующие пониженную точность вычислений, чтобы веса заранее приспособились к будущему сжатию. Обычно даёт более высокое качество, чем квантизация уже обученной модели (PTQ), но требует значительных вычислительных затрат.
- NVFP4Четырёхбитный формат чисел с плавающей точкой от NVIDIA, который появился вместе с архитектурой видеокарт Blackwell и аппаратно поддерживается только ими. Для каждого небольшого блока значений хранится свой масштабный множитель, поэтому потери точности меньше, чем при обычном четырёхбитном сжатии. По сравнению с FP8 и BF16 модель занимает меньше памяти и работает быстрее, но её качество после перевода в этот формат нужно проверять.
- GGUFGGUF (GPT-Generated Unified Format) — бинарный формат файлов нейросетевых моделей, разработанный для экосистемы ggml/llama.cpp. В одном файле хранятся веса модели, её параметры и метаданные, что позволяет быстро загружать модель и запускать её в квантованном (сжатом) виде на обычных компьютерах, в том числе без видеокарты. Пришёл на смену более раннему формату GGML.
В новостях
OpenAI собирается покупать ИИ-чипы у Google, пишет The Information
Сжатие модели: её числа хранят и обрабатывают с меньшей точностью, чтобы модель работала быстрее и занимала меньше памяти; качество ответов при этом может немного снизиться.
Unsloth сжала открытую модель MiniMax M3.1 Flash до 144 ГБ
Сжатие модели: её веса хранят с меньшей точностью, например двумя или четырьмя битами вместо шестнадцати. Модель занимает меньше памяти, но может отвечать немного иначе, чем оригинал.
Meta выпустила отчёт о Muse Glimmer — открытой модели для агентов на ПК
Сжатие модели: числа, в которых хранятся её веса, записывают с меньшей точностью, например в 4 битах вместо 16. Модель занимает меньше памяти и работает быстрее ценой небольшой потери качества.
Система TensorDex сжала 2 890 моделей с Hugging Face на 70% без потерь
Сжатие модели за счёт того, что её числа хранят с меньшей точностью. Модель становится меньше и быстрее, но может немного потерять в качестве.
Движок TokenSpeed ускорил Qwen3.8-Flash-Next до 685 токенов в секунду
Сжатие модели за счёт хранения чисел с меньшей точностью — например, в 4 или 8 битах вместо 16. Модель занимает меньше памяти и работает быстрее, иногда ценой небольшой потери качества.
Microsoft научит Windows делить работу ИИ-агентов между ПК и облаком
Сжатие модели: её веса хранят с меньшей точностью, несколькими битами вместо 16. Модель занимает меньше памяти и работает быстрее, но может терять в качестве.
Рассуждая по шагам, Qwen3.8 27B почти без ошибок сложила большие числа и записала ответ словами
Сжатие модели: её параметры хранят с меньшей точностью, например в 4 битах вместо 16. Модель занимает меньше памяти и работает быстрее, но может немного потерять в качестве.
Сбер выложил открытый классификатор FRIDA-Decisions для русских текстов
Сжатие весов модели до чисел меньшей точности, например 8-битных. Модель занимает меньше памяти и работает быстрее, иногда немного теряя в качестве.
ИИ-агент на мощном ПК не отдаёт данные облаку, но решает меньше задач
Сжатие модели: её веса хранят с меньшей точностью, например в 4 или 6 битах вместо 16. Модель занимает меньше памяти и работает быстрее, но может немного потерять в качестве.
Canonical показала, как запустить на ноутбуке открытый аналог модели-классификатора Jev
Сжатие модели: её веса записывают числами меньшей точности, например 4 бита вместо 16. Модель занимает меньше памяти и работает на более слабом оборудовании, слегка теряя в точности.
NVIDIA объяснила, когда выбирать смесь экспертов, а когда плотную модель
Сжатие модели за счёт хранения весов с меньшей точностью, например 4 бита вместо 16. Модель занимает меньше памяти и работает быстрее, но может потерять в качестве.