NVIDIA выпустила Cosmos-H-Dreams — симулятор хирургического робота, которым можно управлять вживую

NVIDIA выпустила Cosmos-H-Dreams — генеративный симулятор для хирургической робототехники. Он работает в реальном времени: человек или обученная программа управления двигает манипуляторы, а модель тут же дорисовывает, как изменится картинка операции. На одной видеокарте NVIDIA RTX PRO 6000 выходит около 160 кадров в секунду. Код и веса модели выложены на GitHub и Hugging Face.

Обычные симуляторы плохо справляются с хирургией. Мягкие ткани деформируются, инструменты бликуют, в кадре есть нити, иглы и дым. Настоящие роботы дороги, а ошибка на них портит инструменты или биоматериал. Поэтому NVIDIA идёт другим путём: модель мира учится на синхронных записях видео и движений робота. Она не моделирует физику вручную, а предсказывает, как сцена будет выглядеть дальше.

Основа — Cosmos-H-Surgical-Simulator, модель на базе Cosmos-Predict2.5-2B. Она по первому кадру и заданной траектории генерирует видео того, что произойдёт, но всего примерно 10 кадров в секунду. Такого хватает для проверки записанных заранее движений, но не для живого управления. Для Cosmos-H-Dreams с помощью дистилляции знаний большую модель превратили в компактную: та генерирует видео кусками, опираясь на уже созданные кадры, и тратит всего два шага шумоподавления на кадр. Остальную скорость дала библиотека FlashDreams — ускоренный инференс для видеомоделей мира.

Модель-учитель дообучали не только на удачных демонстрациях наложения швов на учебном стенде с роботом dVRK. В данные вошли и неудачи: выпавшие иглы, промахи, развязавшиеся узлы. Авторы объясняют, что симулятор для проверки политик должен показывать последствия плохих действий, а не только идеальные сценарии. Чтобы ошибки не копились на длинных прогонах, модель-ученика тренировали на её же собственных сгенерированных кадрах.

Управлять симулятором можно из браузера с клавиатуры или шлемом Meta Quest, где движения контроллеров переводятся в движения манипуляторов. Вместе с CMR Surgical и Cambridge Consultants модель подключили к пульту хирурга робота Versius. Для других роботов NVIDIA выложила пошаговый рецепт дообучения на собственных данных.

NVIDIA подчёркивает, что это платформа для исследований, а не диагностическая система и не контроллер настоящего робота. Следующим шагом компания называет проверку не только качества картинки. Нужно убедиться, что модель точно отрабатывает движения, не «плывёт» на долгих прогонах, а выводы, полученные в симуляции, совпадают с поведением реального робота. Пока таких измерений в анонсе нет.