NVIDIA выпустила Isaac ROS 5.0 с навыками для ИИ-агентов в робототехнике

В бесплатном открытом наборе NVIDIA для разработчиков роботов появились навыки, с которыми ИИ-агенты помогают настроить роботу зрение и захват предметов.

NVIDIA выпустила Isaac ROS 5.0 — бесплатный набор программ с открытым кодом для разработчиков роботов, куда добавила готовые навыки и документацию для ИИ-агентов. Новую версию показали 22 сентября на конференции ROSCon в Торонто.

Почему это важно: агенты для программирования уже ускоряют обычную разработку, и NVIDIA переносит этот подход в робототехнику. Агент получает готовые сценарии для типовых задач — от настройки камер до захвата предметов.

Общая картина: ROS — открытый фреймворк проекта Open Robotics, на котором построена большая часть современной робототехники. В нём собраны общие инструменты, библиотеки и стандарты для программ роботов. Isaac ROS — пакеты NVIDIA поверх ROS, которые переносят тяжёлые вычисления на видеокарту. По оценке NVIDIA, у ROS почти 1,3 млн пользователей.

Детали: кроме документации, написанной с расчётом на ИИ-агентов, NVIDIA добавила навыки — готовые сценарии, которые может выполнить и разработчик, и агент. Главные из них:

Дообучение FoundationStereo: агент помогает подогнать модель, которая определяет глубину по паре камер, под камеры, помещение и задачу разработчика.
FoundationPose, модель, которая определяет положение и поворот предметов, получила библиотеку для работы с агентами; по данным NVIDIA, робот отслеживает предметы до 5,5 раза быстрее.
Сценарий «взять и положить» связывает поиск предмета, оценку глубины и расчёт его положения; теперь это отдельный навык, который работает и за пределами Isaac ROS.

Расклад: партнёры NVIDIA уже встраивают Isaac ROS в свои продукты:

Проект AgenticROS, который спонсирует производитель 3D-камер RealSense, связывает Isaac ROS с открытыми моделями Nemotron¹ и шаблонами NemoClaw², чтобы ИИ-агенты могли взаимодействовать с роботами на ROS.
Universal Robots встроила Isaac ROS в свой набор AI Accelerator, чтобы интеграторы быстрее давали роботам зрение и планирование движений, не написав сложный код с нуля.
Ekumen с помощью пакета cuMotion на видеокарте прокладывает для складского манипулятора путь без столкновений примерно за 2–5 мс.

Если шире: вместе с Open Source Robotics Alliance³ NVIDIA внесла в ROS Lyrical — версию ROS 2 с долгой поддержкой, вышедшую в мае, — стандартный интерфейс для работы с данными. Он помогает программам роботов эффективно работать на разном железе, включая видеокарты, и открыт всему сообществу ROS. Сама Isaac ROS 5.0 поддерживает ROS Lyrical и Ubuntu 24.04.

Но: пакеты Isaac ROS ускоряют работу на оборудовании NVIDIA — от начального компьютера Jetson⁴ Orin Nano до Jetson Thor.

Isaac ROS 5.0 уже выложен на GitHub: код открыт, пользоваться набором можно бесплатно.