Диффузионная модель ALoDLM обошла исходную Qwen3 в среднем по 11 тестам

Исследователи переделали Qwen3 в диффузионную языковую модель ALoDLM, которая тратит больше вычислений на трудные места текста, и, по их замерам, она в среднем по 11 тестам обошла исходную модель. Препринт¹ вышел на arXiv 3 октября.

Почему это важно: диффузионные модели пишут сразу несколько токенов — кусочков слов — и поэтому быстры, но по качеству до сих пор уступали обычным моделям того же размера, которые пишут по одному токену. ALoDLM, по данным авторов, закрывает этот разрыв и не теряет скорости.

Общая картина: обычно отставание сокращают иначе. Диффузионную модель заставляют писать текст блок за блоком — по порядку, как обычная модель пишет токен за токеном. Другой путь — отвести ей роль черновика, который потом проверяет обычная модель.

Как это работает: диффузионная модель заполняет пропуски в тексте за несколько шагов, и обычно на каждом шаге все пропуски получают одинаковый объём вычислений. ALoDLM внутри шага запускает собственный цикл:

• Нейросеть обрабатывает текст слой за слоем, а ALoDLM может до четырёх раз подряд пропустить его через средние слои: у версии на 8 млрд параметров² это 16 слоёв из 36.
• Токен, в котором модель уже уверена, фиксируется и дальше служит подсказкой для ещё не решённых соседей.
• Трудный токен уходит на следующий круг и сохраняет наработанное, а у прежних моделей отложенный токен на следующем шаге считался заново.
• Когда прекращать круги, решает отдельный небольшой блок модели, который обучается вместе с ней.

В цифрах: авторы сравнили модели на тестах по общим знаниям, математике и программированию.

• ALoDLM-8B набрала в среднем 80,3 балла по 11 тестам, а исходная Qwen3-8B того же размера — 78,5.
• Младшая версия на 1,7 млрд параметров тоже обошла свою основу: 65,5 балла против 63,8.
• ALoDLM-8B опередила самую сильную из сравнённых диффузионных моделей, WeDLM-8B, в среднем на 5,2 балла и выиграла у неё десять тестов из одиннадцати.
• На школьных задачах GSM8K модель пишет примерно в 2,7 раза быстрее Qwen3-8B при сопоставимой или более высокой точности.

Детали: сильнее всего ALoDLM выступила в программировании: в трёх тестах на код из четырёх она опередила всех соперников, а в MBPP+ немного уступила обычным Qwen3.

Интрига: модель сама научилась дольше работать над числами. Вероятность остановиться после первого прохода у числовых токенов в среднем 0,369, у обычных слов — 0,428, хотя какие токены трудные, ей никто не указывал.

Но: у скорости есть оговорки, и авторы называют их сами:

• Первый токен ALoDLM выдаёт позже обычной модели: она заранее готовит данные запроса для всех проходов, и на коротких ответах выгода уменьшается.
• Скорость зависит от запроса: на темах, которых мало в обучающих данных, модель может потерять преимущество и даже оказаться медленнее обычной.
• Против WeDLM-8B она выигрывает, когда важна точность, а на самых высоких скоростях, примерно от 650 токенов в секунду, впереди WeDLM.

Для обучения авторы обошлись без дорогого этапа дополнительного предобучения, который нужен WeDLM: Qwen3 сразу дообучили на диалогах объёмом 5 млрд токенов.