NVIDIA выложила модель, имитирующую лидар беспилотника в реальном времени

Исследователи NVIDIA выложили LidarVerse — модель мира¹, которая в реальном времени имитирует показания лидара, лазерного датчика беспилотных машин, и одна заменяет три вида симуляторов.

Почему это важно: Беспилотники обучают и проверяют в симуляторах, потому что редких ситуаций на дороге в реальных поездках не соберёшь. По словам авторов, LidarVerse — первая модель, которая в реальном времени воссоздаёт записанную лидаром сцену для нового маршрута без отдельной подгонки под неё.

Расклад: Лидарные симуляторы до сих пор делились на два типа, а прогнозом показаний датчика занимались отдельные модели. Одни симуляторы точно воссоздают записанную поездку, но подгоняются под каждую сцену часами и привязаны к записи; другие придумывают новые улицы, но на длинных отрезках теряют согласованность.

Как это работает: LidarVerse совмещает оба подхода: каждый оборот лидара она переводит в плоскую «картинку расстояний», а задачу выбирают тем, что подают на вход:

• Если дать только карту дороги с разметкой и положением машин, модель создаёт новую улицу и показывает, что увидел бы на ней лидар.
• Если дать подряд несколько секунд настоящих замеров, модель продолжает запись и предсказывает, что датчик увидит в следующие секунды.
• Если из нескольких замеров записанной поездки собрать трёхмерную карту улицы и задать машине новый путь, модель показывает, что увидел бы лидар, проехав по той же улице этим путём, — без подгонки под сцену.

Детали: За скорость и устойчивость отвечают несколько решений:

• Сначала обучили большую модель-«учителя» на основе видеомодели NVIDIA Cosmos-Transfer2.5-2B², затем быструю «ученицу», которая повторяет её результаты. Обе строят кадры из шума, убирая его шаг за шагом: учителю нужно много шагов, ученице — четыре на блок из четырёх кадров.
• Чтобы улица не менялась от кадра к кадру, ученица помнит последние девять кадров и строит трёхмерную карту уже созданного мира из ячеек по 15 см.
• Точка попадает в эту карту, только если модель сгенерировала её хотя бы трижды: так случайные ошибки не закрепляются в памяти.

В цифрах: Авторы проверили модель на записях поездок Waymo Open Dataset³:

• На одном ускорителе NVIDIA H100 модель выдаёт 11 кадров в секунду, а настоящий лидар делает 10 оборотов в секунду.
• По трём секундам записи она предсказывает следующие три и по всем метрикам обходит специализированные методы прогноза 4D-Occ и UnO.
• Новую сцену она ведёт 129 кадров, почти 13 секунд езды, и качество у неё падает заметно медленнее, чем у прежних генераторов.
• При воссоздании сцен она на уровне SplatAD, LiDAR4D и LiDAR-RT, которые подгоняют модель под каждую запись, а на 20 самых длинных маршрутах точнее их по всем метрикам качества.

Интрига: Модуль, который сжимает замеры для модели, дообучили сразу на трёх наборах данных. После этого один и тот же модуль работает с лидарами на 32, 64 и 128 лучей — и точнее, чем такие же модули, обученные на каждом наборе отдельно. Он восстановил и замеры датчика из набора PandaSet, которого при обучении не видел.

Но: У модели есть ограничения, которые признают сами авторы:

• Универсальность стоит части качества: модели, обученные только генерации или только воссозданию сцен, по некоторым метрикам точнее.
• LidarVerse имитирует только один вращающийся лидар, без камер, твердотельных датчиков и связок из нескольких лидаров.
• Чтобы воспроизвести движущиеся машины, ей нужна разметка: рамки вокруг объектов, заранее проставленные в записи.
• Замкнутый цикл, в котором автопилот сам ездит внутри симуляции, авторы пока не проверяли.

Код выложен на GitHub под лицензией Apache 2.0⁴, веса — на Hugging Face вместе с инструкцией, как дообучить модель на своих данных. Основное обучение шло на 798 поездках из Waymo Open Dataset — это около 4,4 часа записей лидара.