Словарь

Спекулятивное декодирование

Приём ускорения генерации текста языковой моделью (speculative decoding): черновая быстрая модель или дополнительные «головы» предлагают сразу несколько следующих токенов, а основная модель проверяет их за один проход и принимает совпавшую часть. Выигрыш в скорости достигается без ухудшения качества ответа.

В новостях

NVIDIA на примере Nemotron 3.5 Lightning объяснила, когда смесь экспертов лучше плотной моделиСпособ ускорить генерацию: несколько следующих токенов быстро предлагаются заранее, а модель проверяет их за один проход. На качество ответа это не влияет.15 сентября
NVIDIA ускорила Nemotron 3 Ultra в NIM: на четырёх B200 помещается в 2,5 раза больше пользователейМодель заранее угадывает несколько следующих токенов и затем проверяет их за один проход. Если догадки часто верны, ответ генерируется быстрее. MTP — вариант, при котором модель сама предсказывает сразу несколько токенов вперёд.10 сентября
Чип OpenAI Jalapeño на тестах самой компании опередил системы NVIDIA по отдаче на ваттПриём ускорения: малая модель быстро предлагает несколько следующих токенов, а большая разом их проверяет. Ответ получается быстрее, но систему сложнее настроить.27 августа
IBM выпустила открытые модели Granite 4.2 для агентов и крошечную модель распознавания речиСпособ ускорить генерацию: быстрый вспомогательный механизм предлагает несколько следующих токенов, а основная модель проверяет их разом. Качество ответа не меняется, а текст появляется быстрее.25 августа
Liquid AI ускорила малые модели LFM2.5 до 3,2 раза с помощью черновых моделей DSparkСпособ ускорить генерацию: маленькая модель угадывает несколько токенов вперёд, большая проверяет их разом. В отличие от сжатия модели, качество ответов при этом не страдает.20 августа
NVIDIA выпустила Nemotron 3.5 Lightning — малую открытую модель для рутинной работы агентовСпособ ускорить генерацию: быстрая черновая модель или встроенный механизм предлагает несколько токенов наперёд, а основная модель проверяет их за один проход. Качество ответа при этом не страдает.11 августа
OpenAI: GPT-5.6 Sol удешевил обслуживание собственных моделей компании на 20%Приём ускорения генерации: небольшая быстрая модель заранее предлагает несколько следующих токенов, а большая проверяет их разом. Ответ получается тот же, но выходит быстрее и дешевле.31 июля

← Весь словарь