NVIDIA выпустила ИИ-симулятор операции по удалению желчного пузыря

NVIDIA выложила Cosmos3-H-Dreams — модель, которая в реальном времени дорисовывает видео операции по удалению желчного пузыря в ответ на движения двух хирургических инструментов.

Почему это важно: у исследователей хирургических роботов появилась среда, где управление инструментами можно испытывать на правдоподобной картинке операции внутри тела, а не на учебном стенде. Насколько известно NVIDIA, это первый генеративный симулятор хирургии, который обучен на записях настоящих операций по удалению желчного пузыря и в реальном времени откликается на команды с пульта.

Предыстория: в конце июля NVIDIA показала первую версию, Cosmos-H-Dreams. Она тоже училась по видео и движениям робота, но воспроизводила только наложение швов на учебном стенде с исследовательским роботом dVRK¹.

Детали: оператор симулятора берёт левым инструментом желчный пузырь и приподнимает его, а модель тут же показывает, как натягивается ткань. Второй инструмент — монополярный крючок, которым рассекают и прижигают ткани током. Модель дообучили на записях операций, которые хирурги провели на роботе Versius компании CMR Surgical².

Как это работает: в отличие от численных симуляторов, модель не рассчитывает физику тканей, а выучила по видео, как они выглядят и двигаются. Она получает первый кадр и поток команд с пульта и короткими кусками дорисовывает, что камера увидит дальше. Внутри тела малое движение меняет всю сцену: ткань тянется, сдвигаются блики, органы заслоняют друг друга, дым от прижигания мешает обзору. Чтобы модель при этом успевала за командами, её учили в три этапа:

• Сначала большую «учительскую» модель дообучили предсказывать по записям операций до 72 кадров, то есть 7,2 секунды вперёд: в записях 10 кадров в секунду.
• Затем её знания перенесли в быструю «ученическую» модель, которая выдаёт видео по мере того, как приходят новые команды.
• Ученица тренировалась продолжать собственное видео, а не только записи, чтобы мелкие ошибки не копились и не искажали инструменты и органы.

В цифрах:

• Основа — модель NVIDIA Cosmos3-H-Embodied-Nano на 16 млрд параметров, обученная на открытом наборе записей хирургических роботов Open-H-Embodiment.
• Команд управления 28: положение и захват обоих инструментов, включение тока, оси мини-джойстиков и их кнопки.
• Версий две: одна дорисовывает каждый кусок видео за четыре прохода, постепенно очищая картинку от шума, другая — за два, поэтому она быстрее, но картинка у неё хуже.
• Скорость генерации на одной видеокарте RTX PRO 6000 Blackwell³ — 30 и около 43 кадров в секунду при разрешении 832×480, по данным страницы модели.

Но: реалистичная картинка — ещё не доказательство, что ткани ведут себя как настоящие, оговаривают авторы. Cosmos3-H-Dreams — исследовательский симулятор, а не проверенная система для лечения пациентов.

Что дальше: авторы называют направления исследований, а не готовые возможности:

• Охватить все этапы операции, а не отдельные эпизоды, и задать для каждого понятные критерии успеха.
• Соединить выученную картинку с численным расчётом геометрии и механики тканей, чтобы поведение симулятора можно было проверить.
• Дать хирургам оценить анатомию, инструменты и поведение тканей, а их отзывы превратить в воспроизводимые тесты.
• Подключить модели, управляющие роботом: они будут двигать инструменты в симуляторе, видеть, что получилось, и так учиться выполнять отдельные этапы операции.

Веса обеих версий лежат на Hugging Face под лицензией NVIDIA Open Model License, которая разрешает и коммерческое использование. NVIDIA выложила и пошаговый рецепт, как обучить такую модель на собственных записях разработчика и под другого робота, если видео синхронизировано с командами.