Расшумление
Основной этап работы диффузионной модели (denoising): из случайного шума за серию шагов последовательно убирается шум, пока не получится изображение, видео или иной результат. Число шагов задаёт компромисс между скоростью генерации и качеством, поэтому методы ускорения стремятся сократить их количество.
проверено по: arxiv.org ↗
См. также
- Диффузионная модельКласс генеративных моделей. При обучении к данным постепенно добавляют шум, а модель учится убирать его шаг за шагом; при генерации она начинает со случайного шума и за несколько итераций превращает его в результат. Это основной подход к генерации изображений, видео и звука. Есть и текстовые диффузионные модели: в отличие от обычных языковых моделей, они не пишут текст по одному токену, а уточняют весь ответ целиком.
- Диффузионная языковая модельЯзыковая модель, которая порождает текст не токен за токеном слева направо, как авторегрессионные модели, а итеративно уточняет сразу всю последовательность, начиная с зашумлённого или замаскированного состояния. Подход перенесён из диффузионных генераторов изображений и позволяет параллельно исправлять весь ответ.
В новостях
NVIDIA рассказала, как модели Cosmos имитируют мир для машин и роботов
Шаг генерации в диффузионных моделях: модель постепенно убирает шум из случайного сигнала, пока не получится картинка или видео. Чем меньше шагов, тем быстрее генерация.
Видеомодель MiniMax H3 на SGLang генерирует ролик вдвое быстрее, чем он длится
Диффузионная модель начинает со случайного шума и за несколько шагов превращает его в картинку. Чем меньше шагов, тем быстрее генерация, но обычно ниже качество.