DROID
Большой открытый набор данных для обучения роботов-манипуляторов (Distributed Robot Interaction Dataset). В нём собраны записи демонстраций: оператор дистанционно управляет рукой Franka Panda, и она выполняет разные задачи в реальных домах, офисах и лабораториях. Каждая запись содержит видео с нескольких камер, данные о глубине и текстовое описание задачи. Набор собрал консорциум университетских и промышленных лабораторий, чтобы модели управления роботами лучше работали в незнакомой обстановке.
проверено по: arxiv.org ↗
См. также
- LeRobotLeRobot — открытая библиотека Hugging Face на PyTorch для робототехники: управление реальными роботами (от недорогих манипуляторов до гуманоидов), сбор данных, обучение и запуск политик управления. Она задаёт общий формат датасетов LeRobotDataset, которые можно выкладывать на Hugging Face Hub, и включает готовые политики — от лёгких вроде ACT до крупных моделей «зрение–язык–действие».
- Physical IntelligenceАмериканский стартап из Сан-Франциско, который разрабатывает универсальные модели для управления роботами разных типов. Это модели класса «зрение — язык — действие» семейства π: они получают изображения с камер и команду на естественном языке и выдают движения робота. Часть моделей и код компания публикует открыто.
- Gemini Robotics-ER 1.5Модель Google DeepMind для воплощённых рассуждений (embodied reasoning), то есть рассуждений о физическом мире. По изображениям и видео она понимает расположение предметов, отмечает точки и объекты, планирует многошаговые задачи, следит за ходом их выполнения и может вызывать инструменты, например поиск Google. Сама роботом не управляет: это высокоуровневый планировщик, который передаёт шаги модели-исполнителю, например модели «зрение — язык — действие» Gemini Robotics 1.5, или функциям, которые задал разработчик.
В новостях
Black Forest Labs выпустила FLUX 3 Action — открытую модель для роботов
Большой открытый набор записей, в которых люди управляли роботизированной рукой Franka при выполнении бытовых задач в разных помещениях; собран группой исследовательских лабораторий.