Спекулятивное декодирование
Приём ускорения генерации текста языковой моделью (speculative decoding): черновая быстрая модель или дополнительные «головы» предлагают сразу несколько следующих токенов, а основная модель проверяет их за один проход и принимает совпавшую часть. Выигрыш в скорости достигается без ухудшения качества ответа.
проверено по: arxiv.org ↗
См. также
- ИнференсРабота уже обученной модели на новых данных: ответы на запросы, генерация текста или изображений, предсказания (англ. inference). Обучение создаёт модель, а инференс — это её использование. Для инференса особенно важны скорость ответа и стоимость каждого запроса, поэтому под него часто делают отдельные чипы и отдельную инфраструктуру.
- KV-кэшKV-кэш (key-value cache) — буфер, в котором трансформерная модель хранит вычисленные для уже обработанных токенов векторы «ключей» и «значений» механизма внимания, чтобы не пересчитывать их при генерации каждого следующего токена. Его размер растёт вместе с длиной контекста, поэтому на длинных диалогах и в работе агентов он занимает основную часть памяти ускорителя и во многом определяет стоимость и скорость обработки запроса.
- vLLMБиблиотека и сервер с открытым кодом для быстрого инференса больших языковых моделей. Благодаря механизму PagedAttention и пакетной обработке эффективно использует память видеокарт и обслуживает множество параллельных запросов; часто служит точкой отсчёта при сравнении скорости движков.
- SGLangОткрытый движок инференса для больших языковых и мультимодальных моделей, развиваемый сообществом LMSYS и ориентированный на высокую пропускную способность и низкие задержки — от одной видеокарты до кластеров. Направление SGLang Diffusion добавляет к нему ускоренную генерацию изображений и видео диффузионными моделями.
В новостях
MiniMax открыла веса модели M3.1 Flash для кода и агентов
Способ ускорить ответ модели: небольшой вспомогательный блок или модель быстро предлагает несколько следующих токенов, а основная модель проверяет их за один проход. Ответ получается таким же, как без ускорения.
DeepSeek открыла код DeepInfer — движка, на котором работают её модели
Способ ускорить генерацию текста: модель или вспомогательная сеть быстро предлагает несколько следующих токенов, а основная модель проверяет их разом и оставляет верные. Ответ получается таким же, но приходит быстрее.
Движок TokenSpeed ускорил Qwen3.8-Flash-Next до 685 токенов в секунду
Способ ускорить генерацию текста: небольшая модель или модуль быстро предлагает несколько следующих токенов, а основная модель проверяет их за один проход и оставляет совпавшие.
NVIDIA объяснила, когда выбирать смесь экспертов, а когда плотную модель
Способ ускорить генерацию текста: быстрый вспомогательный механизм предлагает сразу несколько следующих токенов, а основная модель проверяет их за один проход и принимает совпавшие.