NVIDIA-Nemotron-Labs-Dory1.0-4B

Dory 1.0 — открытая модель на 4 млрд параметров из подразделения Nemotron Labs. Она «петлевая» (looped): из 36 слоёв восемь стоят на входе, восемь на выходе, а 20 средних образуют общий блок, который на каждом токене (куске слова) прогоняется от одного до четырёх раз. На каждом проходе в блок заново подаются входные данные. Число проходов задают при запуске, переобучать модель не нужно. NVIDIA советует ставить два прохода по умолчанию, один — когда важнее скорость, четыре — для агентных задач, где модель сама выполняет многошаговую работу. Модель обучена на 6 трлн токенов, а затем дообучена с подкреплением на задачах по математике, коду, вызову инструментов и следованию инструкциям.

Обычная языковая модель тратит на каждый токен одинаковый объём вычислений. Dory позволяет одной и той же модели думать «глубже», если задача сложная. По замерам NVIDIA, на SWE-bench Verified (исправление настоящих ошибок в репозиториях с кодом) она набирает 50,3% за один проход, 59,5% за два и 61,8% за четыре. Это уровень Qwen3.5-9B, у которой в таблице компании 61%, хотя по числу параметров та больше Dory более чем вдвое. Ещё компания пишет, что с ростом числа проходов модель решает те же задачи, выдавая меньше токенов.

Модель рассчитана на рассуждения, программирование и агентную работу при скромных вычислительных ресурсах. NVIDIA выпустила её в нескольких форматах. Версии MXFP8 и NVFP4 хранят числа в сжатом виде для видеокарт поколений Hopper и Blackwell. По замерам компании, они отвечают примерно в 1,7–1,8 и в 2,2–2,4 раза быстрее исходной версии в BF16. Файл в формате GGUF весит около 3,7 ГБ. Его запускают через llama.cpp, в том числе на Mac с процессорами Apple Silicon.

Модель понимает только английский язык, если не считать 43 языков программирования. Каждый лишний проход занимает память под кэш — туда модель складывает уже обработанный текст. Чтобы памяти уходило столько же, сколько при одном проходе, нужно включить режим, в котором кэш хранится только для последнего прохода. Для запуска в vLLM и llama.cpp пока нужны сборки с изменениями, которые ещё не вошли в официальные версии. В vLLM рассуждение перед ответом нельзя отключить. Веса выложены под лицензией OpenMDW 1.1: она разрешает коммерческое применение. NVIDIA предупреждает, что перед внедрением модель нужно проверить на данных конкретной задачи.

источники:Карточка модели (BF16) на Hugging Face ↗Карточка версии MXFP8: запуск и число проходов ↗Версия GGUF для llama.cpp ↗