Диффузионный трансформер
Диффузионный трансформер (Diffusion Transformer, DiT) — архитектура генеративной диффузионной модели, где изображение шаг за шагом восстанавливается из шума, а вычисления на каждом шаге выполняет трансформер, работающий с картинкой как с последовательностью фрагментов-патчей. Пришёл на смену свёрточной архитектуре U-Net и лучше масштабируется с ростом размера модели; применяется в современных генераторах изображений и видео.
проверено по: openaccess.thecvf.com ↗
См. также
- Диффузионная модельКласс генеративных моделей. При обучении к данным постепенно добавляют шум, а модель учится убирать его шаг за шагом; при генерации она начинает со случайного шума и за несколько итераций превращает его в результат. Это основной подход к генерации изображений, видео и звука. Есть и текстовые диффузионные модели: в отличие от обычных языковых моделей, они не пишут текст по одному токену, а уточняют весь ответ целиком.
- ТрансформерАрхитектура нейронной сети (transformer), предложенная в 2017 году и основанная на механизме внимания: модель обрабатывает последовательность токенов целиком и для каждого токена взвешивает связи с остальными. Лежит в основе большинства современных языковых и мультимодальных моделей, вытеснив рекуррентные и свёрточные архитектуры в обработке последовательностей.
- Диффузионная языковая модельЯзыковая модель, которая порождает текст не токен за токеном слева направо, как авторегрессионные модели, а итеративно уточняет сразу всю последовательность, начиная с зашумлённого или замаскированного состояния. Подход перенесён из диффузионных генераторов изображений и позволяет параллельно исправлять весь ответ.
В новостях
MiniMax выложила открытую модель H3-Image для картинок в 16 мегапикселей
Устройство генеративной модели, в котором трансформер шаг за шагом очищает от шума заготовку изображения или видео, пока не получится готовый результат.