Словарь
quantization-aware distillation
Способ вернуть точность модели после квантизации, то есть сжатия весов до низкой разрядности (quantization-aware distillation, QAD). Сжатую модель-«ученика» дообучают, не отключая квантизацию, воспроизводить выходы полноточной модели-«учителя». В отличие от обычного обучения с учётом квантизации (QAT), здесь сигналом для обучения служат ответы учителя, а не исходная разметка данных.