NVIDIA рассказала, как модели Cosmos имитируют мир для машин и роботов

NVIDIA подробно описала четыре открытые модели Cosmos 3 Nano, которые имитируют мир для беспилотных машин и роботов. Машина поворачивает или робот берёт предмет, а модель генерирует, что после этого увидят их камеры, у машины — ещё и лидар.

Сами модели NVIDIA выложила 20 октября и тогда лишь коротко упомянула в анонсе обновлений платформы Cosmos. Теперь компания объяснила, чем модели отличаются друг от друга и как устроены, и приложила технический отчёт и рецепты дообучения.

Общая картина: роботов и беспилотники учат и проверяют в симуляции, прежде чем выпустить в реальный мир. Такая среда должна показывать, что изменится в кадре после каждого действия, при любой сцене и любом ракурсе. У машины вдобавок картинка с камер должна совпадать с данными лидара — лазерного датчика, который строит трёхмерную карту вокруг.

Детали: все четыре — версии Cosmos 3 Nano с 16 млрд обучаемых параметров, каждая дообучена под свою задачу. Распространяются они под лицензией OpenMDW 1.1¹, которая на своих условиях разрешает и коммерческое, и некоммерческое применение.

• Transfer-Auto генерирует синхронное видео с камер машины, до 11 штук, и данные лидара: дороги и движение транспорта задаёт карта сцены, а погоду, свет и время суток — текст.
• Sim-Auto — её быстрая версия: выдаёт видео и лидар короткими кусками и подхватывает новые команды, поэтому машиной можно управлять по ходу симуляции.
• Sim-Transfer берёт у обычного физического симулятора карту глубины и разметку объектов и по текстовому запросу превращает их в фотореалистичное видео, а физика остаётся за симулятором.
• Sim-Bimanual показывает, как меняется сцена, когда двурукий робот YAM или AgiBot² двигает руками или камерой; управлять им может алгоритм или человек с джойстиками.

Как это работает: в отличие от Transfer-Auto, версии Sim создают видео отрезками, и каждый следующий строят по запросу, командам и уже сгенерированным кадрам. Из-за этого ошибки копятся: чуть неверно нарисованный предмет становится основой для следующих кадров. Поэтому на последнем из четырёх этапов обучения модель учат на её собственных кадрах, а не на записанных; ускоренная версия тратит на отрезок четыре шага расшумления³. Под свои камеры и лидар компания может дообучить Transfer-Auto на собственных записях и затем ускорить её тем же способом — так NVIDIA и получила Sim-Auto.

Но: насколько моделям можно доверять, NVIDIA ещё не знает: компании предстоит проверить, в каких условиях на них можно полагаться при обучении и проверке алгоритмов управления, и доработать там, где они не справляются. В замкнутой симуляции машина получает от модели показания датчиков, выбирает следующее действие, а модель показывает его последствия. Для этого одной Sim-Auto мало: нужна ещё среда, которая переводит действия машины в новые команды для модели. Готовый сервер для запуска NVIDIA проверяла на одном ускорителе GB200 и оговаривает, что это не минимальные требования.

Так уже было: в октябре NVIDIA выпускала и другие подобные симуляторы — модель, которая в реальном времени имитирует лидар беспилотника, и симулятор операции по удалению желчного пузыря, откликающийся на команды с хирургического пульта.