NVIDIA открыла код системы Run:ai, которая делит видеокарты между задачами

NVIDIA выложила в открытый доступ весь код Run:ai — платформы, которая распределяет видеокарты общего кластера между командами и задачами, от подготовки данных и обучения моделей до инференса.

Почему это важно: до сих пор платформу продавали только платно, а теперь облака и компании могут бесплатно поставить её у себя или встроить в свои сервисы. Run:ai нужна, чтобы дорогие видеокарты меньше простаивали: одну карту делят несколько задач, а у каждой команды есть гарантированная доля кластера.

Предыстория: NVIDIA объявила о покупке израильского стартапа Run:ai в апреле 2024 года и закрыла сделку в конце декабря. По данным СМИ, она заплатила около 700 млн долларов. Тогда основатели Run:ai обещали открыть код, чтобы платформа стала доступна «всей экосистеме ИИ». Позже NVIDIA открыла планировщик KAI под лицензией Apache 2.0 и передала его фонду CNCF¹.

Как это работает: Run:ai — надстройка над Kubernetes². Помимо платформы целиком, NVIDIA открыла четыре её части, которые можно ставить по отдельности:

• KAI Scheduler решает, на каких видеокартах запустить задачу, а задачу из многих частей запускает целиком или не запускает вовсе.
• GPU Fractioning Operator делит одну видеокарту между несколькими задачами, и каждая видит только отведённую ей часть памяти.
• KAI Resource Management раздаёт квоты по командам и отделам: например, гарантирует исследователям половину кластера и не даёт одной команде занять остальное.
• Workload Map описывает, из каких частей состоят задачи разных типов, чтобы инструментам не приходилось разбирать каждый тип отдельно.

Детали: собственную закрытую технологию, которая делила видеокарту на части, NVIDIA больше не использует, хотя это была одна из самых популярных функций Run:ai. Лимит памяти для каждой задачи теперь держит драйвер CUDA³ 13.4. GPU Fractioning Operator только подключает эту возможность к Kubernetes и работает с любым планировщиком.

Расклад: восемь партнёров по DSX AI Factory — платформе NVIDIA для ИИ-дата-центров — встраивают открытую Run:ai в свои продукты. Среди них облака Crusoe и Nebius: в Nebius AI Cloud платформу ставят в один клик. Saturn Cloud предлагает её операторам облаков, которые запускают собственные сервисы инференса с оплатой за токен.

Но: чтобы скачать готовую сборку из каталога NVIDIA NGC, нужно принять лицензионное соглашение NVIDIA, а корпоративной поддержки к ней нет. Платные версии с поддержкой остаются, например в составе NVIDIA AI Enterprise. Исходный код платформы на GitHub выложен под лицензией Apache 2.0, а об ускорителях других производителей в анонсе ничего не сказано.

Вместе с Run:ai NVIDIA продвигает ещё два открытых проекта. Первый — загрузчик, который передаёт веса модели прямо в память видеокарты; он уже встроен в движки инференса vLLM и SGLang. В опубликованных замерах в облаке Azure на машинах с восемью H100 он загружал модели в 3–6 раз быстрее стандартного способа. Второй, Grove, управляет сервисами из нескольких частей, которые должны запускаться и масштабироваться вместе.