Cosmos-Transfer
Семейство моделей NVIDIA из платформы Cosmos для управляемой генерации видео. По управляющим сигналам (картам глубины и сегментации, контурам, размытому видео, а для беспилотных автомобилей также по данным лидара и HD-картам) модель создаёт реалистичное видео сцены. С её помощью получают синтетические обучающие данные и переносят навыки из симуляции в реальный мир (Sim2Real) в робототехнике и автономном вождении. Cosmos-Predict предсказывает, как сцена будет развиваться дальше, а Cosmos-Transfer превращает уже заданную структуру сцены в фотореалистичную картинку.
проверено по: research.nvidia.com ↗
В новостях
NVIDIA выложила модель, имитирующую лидар беспилотника в реальном времени
Модель NVIDIA из семейства Cosmos для физического ИИ: по схематичному описанию сцены — карте глубины, сегментации, контурам, разметке дороги — создаёт реалистичное видео. Её применяют, чтобы получать синтетические данные для роботов и беспилотников.