NVIDIA Cosmos
NVIDIA Cosmos — платформа и семейство «моделей мира» (world foundation models), которые генерируют и анализируют физически правдоподобное видео виртуальных сцен по тексту, изображению или видео. Их применяют в «физическом ИИ»: чтобы получать синтетические обучающие данные и проверять поведение роботов и беспилотных автомобилей без реальных испытаний.
проверено по: nvidia.com ↗
См. также
- Cosmos-TransferСемейство моделей NVIDIA из платформы Cosmos для управляемой генерации видео. По управляющим сигналам (картам глубины и сегментации, контурам, размытому видео, а для беспилотных автомобилей также по данным лидара и HD-картам) модель создаёт реалистичное видео сцены. С её помощью получают синтетические обучающие данные и переносят навыки из симуляции в реальный мир (Sim2Real) в робототехнике и автономном вождении. Cosmos-Predict предсказывает, как сцена будет развиваться дальше, а Cosmos-Transfer превращает уже заданную структуру сцены в фотореалистичную картинку.
- Модель мираСистема ИИ, которая строит внутреннее представление окружения и предсказывает, как оно изменится в ответ на действия (world model). Её используют для планирования и обучения агентов и роботов: вместо того чтобы пробовать каждое действие в реальности, агент «проигрывает» последствия внутри модели. В отличие от классического симулятора с заданными вручную физическими формулами, модель мира обычно выучивает закономерности из данных, например из видео.
- Физический ИИСистемы ИИ, которые воспринимают реальный мир и действуют в нём через устройства: роботов, беспилотные автомобили, промышленные машины. В отличие от чат-ботов и других моделей, которые работают только с текстом и изображениями, такие системы должны учитывать пространство и физику. Обучают их обычно в физических симуляциях и на синтетических данных, часто с помощью обучения с подкреплением.
- NVIDIA OmniverseПлатформа NVIDIA — набор библиотек, инструментов и сервисов для трёхмерной визуализации, физических симуляций и совместной работы над 3D-сценами. Построена на открытом формате OpenUSD. На ней создают промышленные цифровые двойники, симулируют роботов и генерируют синтетические данные для обучения ИИ.
- Isaac LabIsaac Lab — открытый фреймворк NVIDIA для обучения роботов в симуляции: он даёт готовые среды и интерфейсы для обучения с подкреплением, имитационного обучения и массового параллельного запуска сценариев на GPU. Построен поверх симулятора Isaac Sim, который отвечает за сами виртуальные сцены, физику и датчики.
В новостях
Standard Bots рассказала, как учит заводских роботов на правках людей
Открытое семейство моделей мира NVIDIA для физического ИИ: они предсказывают и порождают видео физических сцен и помогают обучать роботов.
Skild AI выпустила модель S1, которая учит робота задаче по одному видео
Семейство открытых «моделей мира» NVIDIA. Они генерируют и разбирают видео физического мира, чтобы создавать обучающие данные для роботов и беспилотных машин.
NVIDIA заявила, что на её технологиях работают все крупные программы роботакси
Модели мира от NVIDIA. Они генерируют физически правдоподобные видео дорожных сцен, и на них беспилотники обучают и проверяют без реальных поездок.