Microsoft выложила инструмент для переноса ИИ роботов на внешние серверы

Microsoft Research добавила в свой открытый набор инструментов для роботов Physical AI Toolchain возможность переносить работу ИИ-моделей робота с бортовой видеокарты на сервер поблизости или в облако.

Почему это важно: Модели, которые управляют роботами, растут, а бортовая видеокарта сажает батарею, добавляет вес и цену и не всегда вмещает новые модели. По замерам Microsoft, вынос вычислений повышает долю выполненных задач и продлевает работу от батареи.

Предыстория: Инструмент опирается на исследование, которое команда выпустила в марте в техническом отчёте «Offload or Overload». Роботу давали задачу вроде «проверь, нет ли на кухне мусора, и выброси его в ведро»: построить карту и маршрут, доехать, взять мусор и отвезти к ведру. Модели для этих шагов запускали на бортовых модулях NVIDIA Jetson разного размера, на сервере рядом с роботом и в облаке.

В цифрах: что теряли роботы, когда ИИ работал на борту:

• Часть небольших бортовых видеокарт вообще не вместила весь набор моделей для такой задачи.
• Где памяти хватило, построение карты и планирование шли медленнее, чем на серверной NVIDIA A100, — замедление доходило до 383%.
• На более слабых видеокартах доля вовремя замеченных препятствий при навигации падала на 30%.
• Модели VLA, которые по изображению и команде сразу выдают движения рук, замедлились несильно, но их точность упала на 50%.

Детали: Крупные бортовые модули вроде Jetson Thor¹ заметно сокращают работу от батареи. Когда их заменили платой Raspberry Pi 5, а данные стали отправлять на внешнюю видеокарту, разница во времени работы доходила до 160%, или нескольких часов, даже у крупных роботов.

Как это работает: Инструмент построен на Kubernetes². Разработчик описывает, какую часть работы робота вынести, а инструмент сам упаковывает её в отдельный контейнер и отправляет на сервер рядом с роботом, излишек — в облако. Он работает с симуляторами роботов, библиотекой LeRobot³ и ROS 2⁴, а в комплекте есть готовые примеры для дешёвой открытой руки SO-101 и промышленного манипулятора UR10e.

Общая картина: Physical AI Toolchain — открытый набор, который связывает облако Azure с программами NVIDIA для роботов и помогает готовить данные, обучать и проверять модели. Вынос вычислений Microsoft называет первой такой возможностью в отрасли.

Но: Перенос — это компромисс. В отчёте авторы пишут, что задержка сети снижает точность выполнения задач, а объём передаваемых данных делает простой перенос всего в облако непрактичным.

В демонстрации модель Microsoft Rho для двуруких роботов работала на внешнем Jetson Thor и управляла мобильным двуруким роботом Mobile Aloha.