DeepSeek открыла код DeepInfer — движка, на котором работают её модели

DeepSeek выложила в открытый доступ DeepInfer — фреймворк, на котором сама запускает модель V4.1-Flash и отвечает на запросы к своему API. Компания сообщила об этом 20 октября в соцсети X. Цель, по её словам, — помочь сообществу меньше тратить на вычисления и электроэнергию и сделать ИИ доступнее.

Почему это важно: Компании и облачные сервисы, которые разворачивают у себя V4.1-Flash (её веса DeepSeek открыла в сентябре), получают тот же код, на котором модель работает у самой DeepSeek. Раньше компания выкладывала только отдельные части своего движка.

Предыстория: В апреле 2025 года DeepSeek отказывалась открывать движок целиком: он вырос из ранней версии vLLM¹, сильно переделанной под её модели, и был плотно связан с её внутренней инфраструктурой. Вместо этого она выкладывала отдельные библиотеки, ускоряющие работу моделей на видеокартах, — например, FlashMLA, DeepGEMM и DeepEP — и обещала передавать улучшения в vLLM.

Как это работает: В DeepInfer вошли эти библиотеки и несколько приёмов, которые ускоряют ответы или делают их предсказуемыми:

• Спекулятивное декодирование² DSpark: модель заранее набрасывает до пяти следующих токенов³, а когда проверять этот черновик, движок решает по тому, насколько модель в нём уверена.
• Часть модели видит только последние токены текста, поэтому движок прогоняет через неё не весь запрос, а лишь его хвост — для V4.1-Flash по умолчанию 140 токенов.
• Режим повторяемости: одинаковый запрос с теми же настройками даёт одинаковый ответ, с какими бы чужими запросами его ни обрабатывали вместе, — только на видеокартах NVIDIA.
• Структурированный ответ: модель пишет строго по шаблону — регулярному выражению, JSON-схеме или грамматике EBNF.

Детали: Вместе с движком DeepSeek открыла вторую библиотеку — по её словам, это её рабочий компонент для перевода запросов и ответов. Он выверен по логике официального API, чтобы сторонние сервисы отвечали так же:

• Библиотека переводит запросы в форматах OpenAI (Chat Completions и Responses) и Anthropic (Messages) в текст для моделей V4 и V4.1, а ответы модели — обратно.
• Если клиент не задал длину ответа, она ставит 8 192 токена, в режиме рассуждений — 65 536, а при максимальном уровне рассуждений — 131 072.

Но: Это инструмент для дата-центров: скорость DeepSeek замеряла на 4 видеокартах NVIDIA Blackwell для обработки запроса и на 64 — для генерации ответа. Полноценного сервиса из открытой версии не собрать, авторы называют три недостающие части:

• Нет системы KV-кэша — хранилища промежуточных вычислений, чтобы модель не пересчитывала уже прочитанный текст.
• Нет разнесения обработки запроса и генерации ответа по разным серверам, хотя большая часть кода для этого, по словам авторов, уже написана.
• Нет распределения нагрузки между копиями модели, которые работают параллельно.

Что дальше: Код для будущих моделей DeepSeek и новые оптимизации компания обещает выкладывать в тот же репозиторий.

По умолчанию DeepInfer загружает версию V4.1-Flash, которую DeepSeek обновила 17 октября. Движок, как компания и писала в 2025 году, вырос из vLLM, а авторы благодарят ещё и создателей соседних движков SGLang и TensorRT-LLM. DeepInfer открыт под лицензией Apache 2.0⁴, библиотека для перевода запросов — под MIT: обе разрешают встраивать код в платные продукты.