Isaac Lab
Isaac Lab — открытый фреймворк NVIDIA для обучения роботов в симуляции: он даёт готовые среды и интерфейсы для обучения с подкреплением, имитационного обучения и массового параллельного запуска сценариев на GPU. Построен поверх симулятора Isaac Sim, который отвечает за сами виртуальные сцены, физику и датчики.
проверено по: developer.nvidia.com ↗
См. также
- NVIDIA OmniverseПлатформа NVIDIA — набор библиотек, инструментов и сервисов для трёхмерной визуализации, физических симуляций и совместной работы над 3D-сценами. Построена на открытом формате OpenUSD. На ней создают промышленные цифровые двойники, симулируют роботов и генерируют синтетические данные для обучения ИИ.
- NewtonОткрытый физический движок для симуляции роботов с ускорением на видеокартах, рассчитанный на исследователей робототехники и обучение роботов в симуляции. Его создание начали NVIDIA, Google DeepMind и Disney Research; движок построен на NVIDIA Warp и OpenUSD, поддерживает несколько физических решателей (в том числе MuJoCo Warp) и развивается как нейтральный проект под управлением Linux Foundation.
- MuJoCoБесплатный физический движок с открытым исходным кодом (Multi-Joint dynamics with Contact). Он быстро и точно моделирует роботов, тела с сочленениями и их контакты с окружением. Движок развивает Google DeepMind; его широко используют в робототехнике, биомеханике и обучении с подкреплением.
- LeRobotLeRobot — открытая библиотека Hugging Face на PyTorch для робототехники: управление реальными роботами (от недорогих манипуляторов до гуманоидов), сбор данных, обучение и запуск политик управления. Она задаёт общий формат датасетов LeRobotDataset, которые можно выкладывать на Hugging Face Hub, и включает готовые политики — от лёгких вроде ACT до крупных моделей «зрение–язык–действие».
- Обучение с подкреплениемОдин из основных подходов машинного обучения (reinforcement learning, RL): агент действует в среде, получает за результат числовую награду и учится выбирать действия, которые приносят наибольшую награду. В отличие от обучения с учителем, правильных ответов ему заранее не показывают — он учится методом проб и ошибок. У языковых моделей это отдельный этап после предобучения, на котором развиваются рассуждения и агентные навыки.
- Физический ИИСистемы ИИ, которые воспринимают реальный мир и действуют в нём через устройства: роботов, беспилотные автомобили, промышленные машины. В отличие от чат-ботов и других моделей, которые работают только с текстом и изображениями, такие системы должны учитывать пространство и физику. Обучают их обычно в физических симуляциях и на синтетических данных, часто с помощью обучения с подкреплением.
В новостях
NVIDIA показала, как запустить сразу 2 048 симуляций робота на видеокарте
Открытый фреймворк NVIDIA для обучения роботов в симуляции на видеокартах.
Skild AI выпустила модель S1, которая учит робота задаче по одному видео
Открытый фреймворк NVIDIA для обучения роботов в симуляции, в том числе обучением с подкреплением, когда робот учится методом проб и ошибок в виртуальной среде.