NVIDIA передаёт фонду CNCF свою систему контроля ИИ-агентов OpenShell

NVIDIA передаёт фонду CNCF¹, где развивают Kubernetes², свою открытую программу OpenShell. Она следит, чтобы ИИ-агенты в системах компаний делали только то, что им разрешено. На конференции KubeCon + CloudNativeCon NVIDIA объявила об этом и показала ещё три новых открытых инструмента для дата-центров с видеокартами.

Почему это важно: агенты сами вызывают инструменты, обращаются к моделям и запускают программы, поэтому компаниям нужен способ держать их в рамках. В фонде OpenShell перестанет быть проектом одной NVIDIA: им будут управлять организации, которые встраивают его в свои продукты.

Предыстория: NVIDIA показала OpenShell в марте на своей конференции GTC. По данным компании, им уже пользуются сотни организаций, а за неполный год участники внесли в проект десятки тысяч правок и предложений. В CNCF он начнёт с первой ступени — программы Sandbox для молодых проектов.

Как это работает: OpenShell запускает агента в изолированной среде и сверяет его действия с правилами, которые задала компания: какие инструменты он вызывает, к каким моделям обращается, что запускает. Правила действуют вне самого агента и срабатывают каждый раз одинаково, а не на усмотрение модели. К системе можно подключить свои серверы, поставщиков моделей, хранилище ключей и паролей и средства мониторинга.

Расклад: охрана агентов — только половина задачи, их ещё нужно запускать тысячами. Поэтому NVIDIA подключилась к Agent Substrate — открытому проекту Google, который тоже принят в Sandbox. Он сохраняет рабочую среду агента между задачами, а пока агент простаивает, приостанавливает её и отдаёт вычислительные мощности другим. Держать отдельный сервер включённым под каждую сессию не нужно.

NVIDIA добивается, чтобы Agent Substrate работал с её системой Dynamo, которая обслуживает запросы к моделям, и с планировщиком KAI Scheduler, который делит ресурсы общего кластера. Вместе с Google компания связывает Agent Substrate с OpenShell, чтобы агентов можно было защищать и контролировать и в облаках, и на собственных серверах компаний.

Детали: два новых инструмента, NVIDIA Kubernetes Engine и NVIDIA Kubernetes Recipes, рассчитаны на ИИ-фабрики³, которые сдают клиентам готовые кластеры Kubernetes на видеокартах. Создание и обслуживание кластеров инструменты берут на себя, а ещё дают проверенные сборки программ с подписью и закреплёнными версиями. Оба вышли в открытой предварительной версии. Mirantis, Rafay, Spectro Cloud, SK Telecom и ещё несколько компаний согласовали с NVIDIA планы встроить их в свои сервисы.

В цифрах: третий инструмент, NVIDIA Snapshot, поднимает новую копию модели из сохранённого состояния за секунды, без повторной загрузки и разогрева, — это нужно, когда растёт нагрузка или копия упала. Партнёры NVIDIA проверили его на серверах HGX B300:

• В облаке Crusoe модель GLM-5.3 стала готова к работе за 31 секунду вместо примерно восьми минут.
• У платформы Saturn Cloud запуск vLLM, системы для обслуживания моделей, сократился с 2–8,5 минуты до 6–34 секунд.

Так уже было: в марте на KubeCon Europe NVIDIA объявила, что передаст CNCF свой драйвер, который распределяет ресурсы видеокарт в Kubernetes. А в октябре компания открыла код Run:ai — платформы, которая делит видеокарты кластера между командами и задачами.