Диффузионная языковая модель
Языковая модель, которая порождает текст не токен за токеном слева направо, как авторегрессионные модели, а итеративно уточняет сразу всю последовательность, начиная с зашумлённого или замаскированного состояния. Подход перенесён из диффузионных генераторов изображений и позволяет параллельно исправлять весь ответ.
проверено по: arxiv.org ↗
См. также
В новостях
You.com запустила сервис для моделей, в основном открытых, со встроенным веб-поиском
Языковая модель, которая пишет ответ не по одному токену слева направо, а получает его целиком из «шума» и уточняет за несколько шагов; так она отвечает быстрее.
Inception выпустила модель Mercury 3 и заявила, что та обходит GPT-6 Luna
Языковая модель, которая пишет текст не по одному токену слева направо, а за несколько проходов уточняет сразу целый фрагмент — так генераторы картинок превращают шум в изображение. Поэтому такие модели обычно отвечают быстрее привычных.
Inception выпустила Mercury Voice — модель для голосовых агентов
Языковая модель, которая не пишет текст по одному токену слева направо, а уточняет весь ответ сразу за несколько шагов, начиная с «зашумлённого» черновика. Так она генерирует много токенов параллельно и обычно отвечает быстрее обычных моделей.
Inception выпустила Mercury Voice — модель для голосовых агентов
Языковая модель, которая пишет ответ не по одному токену слева направо, а сразу набрасывает весь текст и за несколько шагов уточняет его — так генераторы картинок постепенно проявляют изображение из шума. За счёт этого она выдаёт текст быстрее.