NVIDIA выпустила Isaac ROS 5.0: ИИ-агенты помогут настроить роботам зрение и захват предметов
NVIDIA выпустила пятую версию Isaac ROS — бесплатных пакетов, которые ускоряют программы роботов на видеокартах. В ней появились навыки для ИИ-агентов: например, агент помогает дообучить модель стереозрения под камеры конкретного робота.
ИИ-агент может помочь дообучить модель стереозрения робота под его камеры, помещение и задачу. Такой навык появился в Isaac ROS 5.0 — новой версии набора пакетов NVIDIA для робототехники. Её выпустили на конференции ROSCon в Торонто. Набор бесплатный, с открытым кодом и уже лежит на GitHub.
Isaac ROS — надстройка NVIDIA над ROS. Этот открытый фреймворк от Open Robotics лежит в основе большой части современной робототехники: он даёт общие библиотеки, инструменты и стандарты. Пакеты NVIDIA переносят тяжёлые задачи вроде зрения и планирования движений на видеокарты и добавляют готовые ИИ-модели. По оценке NVIDIA, пользователей ROS почти 1,3 млн.
Главная новинка пятой версии — навыки. Это готовые сценарии для настройки системы и работы манипулятора, которые может выполнить и человек, и ИИ-агент. Документацию NVIDIA тоже переписала так, чтобы агентам было проще в ней разбираться. Модель FoundationPose определяет положение и поворот предметов и следит за ними. Для неё выпустили библиотеку, которая запускает модель и с которой удобно работать ИИ-агентам. По данным NVIDIA, с этой библиотекой робот отслеживает предметы до 5,5 раза быстрее; с чем сравнивали, компания не уточняет. Типовую цепочку для задачи «взять и положить» — найти предмет, оценить глубину, вычислить его положение — вынесли в отдельный навык, которым можно пользоваться и без Isaac ROS.
Версия поддерживает ROS Lyrical — вышедший в мае выпуск ROS 2 с долгосрочной поддержкой — и Ubuntu 24.04. Вместе с Open Source Robotics Alliance NVIDIA добавила в ROS Lyrical стандартный интерфейс обработки данных. С ним программы роботов эффективно работают на разном железе, включая видеокарты. Пользоваться интерфейсом может всё сообщество ROS. Рабочий пример того, как с ним ускорить программы на видеокарте, сделан на CUDA — платформе NVIDIA для таких вычислений. Из собственного железа NVIDIA поддерживаются компьютеры Jetson1 — от начального Orin Nano до мощного Jetson Thor.
Среди тех, кто уже работает с Isaac ROS, NVIDIA называет Universal Robots, Magna и Mentee Robotics — разработчика человекоподобного робота MenteeBot. Компания Ekumen с помощью пакетов NVIDIA прокладывает путь складского манипулятора в обход препятствий примерно за 2–5 миллисекунд. Производитель камер RealSense спонсирует открытый проект AgenticROS. Он связывает Isaac ROS с открытыми моделями NVIDIA Nemotron, чтобы ИИ-агенты могли взаимодействовать с роботами на ROS.