Обучение с учётом квантования
Обучение с учётом квантования (QAT, quantization-aware training): в ходе обучения или дообучения в модель вставляют операции, имитирующие пониженную точность вычислений, чтобы веса заранее приспособились к будущему сжатию. Обычно даёт более высокое качество, чем квантизация уже обученной модели (PTQ), но требует значительных вычислительных затрат.
проверено по: pytorch.org ↗
См. также
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- NVFP4Четырёхбитный формат чисел с плавающей точкой от NVIDIA, который появился вместе с архитектурой видеокарт Blackwell и аппаратно поддерживается только ими. Для каждого небольшого блока значений хранится свой масштабный множитель, поэтому потери точности меньше, чем при обычном четырёхбитном сжатии. По сравнению с FP8 и BF16 модель занимает меньше памяти и работает быстрее, но её качество после перевода в этот формат нужно проверять.
В новостях
NVIDIA выпустит открытую модель для агентов на ноутбуках RTX Spark
Способ обучения, при котором модель заранее приучают работать со сжатыми, огрублёнными весами. После квантизации такая модель теряет в качестве меньше, чем при сжатии уже готовой модели.