В Microsoft Research предложили вынести ИИ роботов на внешние видеокарты
На слабых бортовых видеокартах точность моделей, которые управляют руками робота, падала на 50%. Исследователи предлагают отдавать эти расчёты внешним серверам и выпустили для этого открытый инструмент.
Роботы точнее выполняют задания и дольше работают от батареи, если их модели ИИ считают не внутри корпуса. Выгоднее отдать эти расчёты внешней видеокарте — на сервере в том же здании или в облаке, говорится в исследовании Microsoft Research, опубликованном 23 сентября.
Речь об инференсе — работе уже обученной модели: робот передаёт ей кадры с камер, а она решает, куда ехать и как двигать рукой. Обычно для этого на робота ставят собственную видеокарту, а в облако выносят разве что общее планирование. «Мы оспариваем это допущение», — пишут авторы.
По их словам, бортовые видеокарты потребляют много энергии, делают робота дороже и тяжелее и мешают запускать новейшие модели. Для проверки взяли типичное задание: «проверь, нет ли на кухне мусора, и выброси его в ведро». Модели для построения карты, навигации и управления руками запускали на бортовых, локальных и облачных видеокартах.
На слабых видеокартах робот заметно проигрывал:
- часть из них вообще не вместила весь набор моделей;
- на остальных построение карты и планирование шли до 383% медленнее, чем на серверной NVIDIA A100;
- навигация на 30% реже вовремя замечала препятствия;
- модели, которые по кадру и команде сразу выдают движения руки, замедлялись несильно, но их точность падала на 50%.
Расход батареи тоже измерили: бортовую видеокарту заменили дешёвым компьютером Raspberry Pi 5, который только пересылает данные на внешнюю. Без крупной видеокарты вроде NVIDIA Jetson Thor1 робот работал от батареи до 160% дольше. Даже у больших роботов это несколько часов.
Авторы признают, что перенос расчётов — компромисс: многое зависит от задержек сети, её пропускной способности и числа свободных видеокарт. При этом они ожидают, что с ростом моделей выигрыш от переноса станет ещё заметнее.
Вместе с отчётом Microsoft выпустила инструмент для такого переноса. Тот, кто программирует робота, сам указывает, какую часть расчётов вынести наружу. Инструмент упаковывает эту часть в отдельный контейнер, а затем через Kubernetes2 распределяет такие контейнеры между роботом, локальными серверами и облаком. Инструмент работает с симуляторами роботов, библиотекой LeRobot3 и ROS 24.
Функция вошла в Physical AI Toolchain — открытый набор Microsoft для разработки роботов, который связывает облако Azure с программами NVIDIA. Компания называет её первой такой функцией в отрасли. В демонстрации модель Microsoft Rho для двуруких роботов работала на вынесенной Jetson Thor и управляла роботом Mobile Aloha. Есть и готовые примеры для роботов-манипуляторов SO-101 и UR10e.