Квантователь
Устройство или часть алгоритма, которая заменяет непрерывные значения ближайшими из конечного набора. Скалярный квантователь округляет числа до заданных уровней, а векторный сопоставляет вектору ближайший код из кодовой книги. В нейросетях векторные квантователи превращают звук или изображение в дискретные токены, например в нейронных аудиокодеках. При сжатии моделей квантователь переводит веса в формат меньшей разрядности.
проверено по: en.wikipedia.org ↗
См. также
- КвантизацияПриём сжатия нейросети, при котором её веса и иногда промежуточные вычисления хранят с пониженной точностью — например, в 8 или 4 битах вместо 16 или 32 (англ. quantization). Модель занимает меньше памяти и работает быстрее и дешевле, в том числе на слабом оборудовании, но обычно ценой некоторого снижения качества.
- ТокенТокен — минимальная единица текста, которой оперирует языковая модель: обычно это часть слова, целое слово или знак препинания. В токенах измеряют длину контекста и скорость генерации (токенов в секунду), а также тарифицируют работу коммерческих моделей.
- Векторное представлениеВекторное представление (эмбеддинг, embedding) — набор чисел, которым модель описывает объект: слово, текст, изображение или страницу. Числа подобраны так, что близкие по смыслу объекты оказываются рядом в этом пространстве, поэтому на эмбеддингах строят смысловой поиск, рекомендации и кластеризацию.
- Обучение с учётом квантованияОбучение с учётом квантования (QAT, quantization-aware training): в ходе обучения или дообучения в модель вставляют операции, имитирующие пониженную точность вычислений, чтобы веса заранее приспособились к будущему сжатию. Обычно даёт более высокое качество, чем квантизация уже обученной модели (PTQ), но требует значительных вычислительных затрат.
- ТокенизаторКомпонент обработки текста (tokenizer), который разбивает текст на токены — слова, части слов, символы или байты, — и сопоставляет каждому числовой идентификатор из словаря. Он же выполняет обратное преобразование: из идентификаторов в текст. Модель работает с тем токенизатором, с которым её обучали (распространённые алгоритмы — BPE, WordPiece, SentencePiece). Поэтому один и тот же текст у разных моделей занимает разное число токенов, а от этого зависят цена запроса и то, сколько текста помещается в контекстное окно.
В новостях
Apple сжала в 2,8 раза кодировщик речи для диктовки на устройствах
Часть модели, которая заменяет непрерывное числовое представление ближайшим кодом из заранее заданного набора. В речевых и мультимодальных моделях так звук или изображение превращают в дискретные токены.