π0.5
Модель «зрение — язык — действие» (vision-language-action, VLA) компании Physical Intelligence. Она получает изображения с камер робота и команду на естественном языке и выдаёт его движения. Построена на основе π0, но в отличие от неё обучена сразу на разнородных данных: записях с разных роботов, данных из интернета, распознавании объектов и разбиении задачи на подзадачи. Поэтому она справляется с длинными бытовыми задачами, например уборкой посуды или заправкой кровати, в домах, которых не было в обучающих данных.
проверено по: pi.website ↗
В новостях
NVIDIA расширила Cosmos инструментами для обучения роботов и беспилотников
Модель американского стартапа Physical Intelligence, которая по изображению с камер и словесной команде управляет действиями робота.