NVIDIA расширила Cosmos инструментами для обучения роботов и беспилотников
Новые шаблоны Cosmos, платформы NVIDIA для моделей, имитирующих реальный мир, создают синтетические видео редких событий и снимки дефектов, а версии модели Cosmos 3 Nano позволяют проверять беспилотники и роботов в симуляции.
NVIDIA расширила Cosmos, свою открытую платформу для моделей мира1: добавила шаблоны для создания обучающих данных, версии модели Cosmos 3 Nano для симуляции и ускорила сервис запуска моделей. Анонс вышел 21 октября, в день основного доклада конференции NVIDIA GTC Berlin.
Почему это важно: роботам и беспилотникам для обучения нужны примеры редких и опасных ситуаций, которые трудно или рискованно снимать вживую. NVIDIA предлагает создавать такие сцены искусственно и проверять поведение машин в симуляции до реальных испытаний.
Предыстория: Cosmos 3 NVIDIA показала в конце мая на конференции GTC Taipei. Эта открытая модель работает с текстом, картинками, видео, звуком и действиями роботов; она вышла в двух размерах — Nano на 16 млрд параметров и Super на 64 млрд.
Повод: в Cosmos Data Factory, набор инструментов для подготовки обучающих данных, добавили пять облачных шаблонов, которые выложены на GitHub и доступны в Microsoft Azure, Nebius и CoreWeave:
- Шаблон для беспилотников отбирает и размечает записи поездок, а потом добавляет синтетические примеры ситуаций, которые трудно поймать на дороге.
- Другой шаблон превращает неподвижную картинку в синтетическое видео редкого или опасного события.
- Для систем контроля качества генерируются снимки дефектов печатных плат, металла и стекла.
- Ещё один шаблон меняет погоду и освещение на готовых записях, сохраняя саму сцену.
- Последний меняет внешний вид предметов на картинках, чтобы улучшить поиск по изображениям.
Детали: обновились и остальные части платформы:
- Cosmos Curator, инструмент для отбора обучающего видео, научился принимать данные сразу нескольких видов и с разных датчиков.
- Инструменты Cosmos Framework для дообучения, сжатия и запуска моделей оформлены как навыки для ИИ-агентов: запускать их может не только разработчик, но и сам агент. Подходят они и другим открытым моделям: GR00T для человекоподобных роботов, Alpamayo для беспилотников, Qwen, π0.52.
- Новые версии Cosmos 3 Nano воспроизводят сцены с нескольких камер и датчиков, и на них можно учить и проверять алгоритмы управления беспилотниками и двурукими роботами.
- Обновлённые микросервисы NVIDIA NIM3 запускают Cosmos 3 до двух раз быстрее без потери качества, но только в конфигурациях, которые проверила NVIDIA.
В цифрах: что дают новые инструменты, по данным NVIDIA:
- Porsche собирает общую базу данных для беспилотного вождения марок Volkswagen Group и рассчитывает сократить повторные тестовые поездки максимум на 90%, а цикл разработки — максимум на 85%.
- Лаборатория робототехники MicroAGI дообучила Cosmos 3 на видео, где люди работают руками с предметами, и сжала рассуждающую часть модели с 32 млрд параметров, как у Super, до 8 млрд, как у Nano, без потери точности.
- Новая версия шаблона NVIDIA для поиска и пересказа видео, VSS 3.3, позволяет на той же видеокарте отслеживать на 40% больше видеопотоков.
Но: NVIDIA утверждает, что Cosmos входит в первую пятёрку шести рейтингов открытых моделей. Какие это рейтинги, компания не уточняет.
Итог: платформа собрана из независимых частей: Data Factory готовит данные, Cosmos Framework обучает и адаптирует модели, NVIDIA NIM их запускает.