NVIDIA выпустила модель Dory, где часть слоёв работает по нескольку раз

NVIDIA выложила на Hugging Face открытую модель Dory1.0-4B на 4 млрд параметров. Она прогоняет каждый токен через один и тот же блок слоёв от одного до четырёх раз.

Почему это важно: чтобы модель отвечала точнее, обычно берут модель покрупнее или заставляют её писать более длинные рассуждения. Dory вместо этого больше считает внутри себя: файл модели тот же, а число повторов выбирают под задачу, без переобучения.

Как это работает: между входными и выходными слоями модели (их по восемь) стоит общий блок из 20 слоёв. Его прогоняют несколько раз подряд, и на каждом круге к нему заново подмешивают результат входных слоёв.

Интрига: в обычных моделях с повторами память об уже прочитанном тексте (KV-кэш) растёт с каждым кругом. Dory умеет хранить её только для последнего круга, и тогда памяти ей нужно не больше, чем такой же модели без повторов.

Детали:

• Модель понимает только английский и за раз читает до 256 тыс. токенов — слов и частей слов.
• Лицензия OpenMDW-1.1¹ разрешает применять модель и в коммерческих, и в некоммерческих целях.
• Первые три четверти предобучения² модель прошла в 4-битном формате NVFP4³, а остаток — в обычном 16-битном.
• С повторами модель, по словам NVIDIA, решает те же задачи, выдавая меньше токенов: работа уходит в расчёты внутри, а не в длинный ответ.

В цифрах: по замерам NVIDIA на полной 16-битной версии, с четырьмя повторами Dory уступает Qwen3.5-4B того же размера в тестах на рассуждения GPQA Diamond и HLE. Зато в задачах на код и выполнение инструкций она обходит Qwen3.5-4B, а местами догоняет и более чем вдвое большую Qwen3.5-9B:

• В SWE-bench Verified, где модель исправляет ошибки в настоящих проектах с GitHub, Dory решила 61,8% задач, а Qwen3.5-9B — 61%.
• В тесте на выполнение инструкций IFBench у Dory 79 баллов, у Qwen3.5-4B — около 54.
• Больше всего даёт второй повтор: в SWE-bench Verified результат растёт с 50,3% до 59,5%, поэтому NVIDIA советует начинать с двух.

Но: знаний повторы не добавляют. В тесте на фактические знания AA-Omniscience Dory набирает около 10 баллов при любом числе повторов, а Qwen3.5-4B — 15.

Так уже было: в октябре 2025 года ByteDance выложила модели Ouro на 1,4 и 2,6 млрд параметров, устроенные по тому же принципу повторов. Их авторы писали, что повторы помогают не за счёт новых знаний, а за счёт того, как модель обращается с уже имеющимися.

Что дальше: поддержка Dory должна появиться в одном из следующих выпусков llama.cpp — программы для запуска моделей на своём компьютере. Правку с ней уже написали, но в программу её пока не приняли. Срок NVIDIA не называет.

Пока этого не случилось, llama.cpp с этой правкой приходится собирать из исходного кода самому. Сжатый файл модели весит 3,7 ГБ, а инструкция NVIDIA рассчитана на Mac с процессором Apple.