Словарь
DFlash
Метод спекулятивного декодирования, который ускоряет генерацию текста большими языковыми моделями без потери качества. Черновые токены предлагает не авторегрессионная модель, которая пишет по одному токену за раз, а лёгкая блочная диффузионная модель: она выдаёт целый блок токенов за один проход, опираясь на скрытые признаки основной модели. Затем основная модель проверяет весь блок параллельно.