Протез с камерой в ладони: стартап smartARM сам подбирает хват по виду предмета

Стартап smartARM из Торонто делает прототип бионической руки, которая сама подбирает хват под предмет. Для этого в ладонь встроена камера. Историю проекта рассказала Meta: протез работает на её открытой модели компьютерного зрения.

Многие обычные протезы кисти устроены так: для каждого предмета пользователь вручную переключает схему хвата. Взять стакан, а потом ложку — уже несколько отдельных действий. Рука smartARM распознаёт предмет в камере и сама выбирает подходящий хват.

Узнавать предметы протезу помогает DINOv2 — открытая модель Meta. Чтобы рука освоила новый предмет, хватает нескольких фотографий. По словам авторов, раньше на это уходили недели. Новые предметы пользователь добавляет сам, через приложение на телефоне.

Очки Meta AI подключаются по желанию. Они смотрят на мир глазами владельца и подсказывают протезу, с чем человек собирается работать. Для связи с очками стартап использует набор разработчика Meta Wearables Device Access Toolkit. Meta утверждает, что рука работает с первой попытки и учиться ей пользоваться не нужно.

Протезом давно пользуется бывший игрок НФЛ Шакем Гриффин. «Из всех технологий, что в него вложены, для меня важнее всего масштабируемость и доступность», — говорит он. Основатель и глава smartARM Хамаял Чоудхри считает, что сделать способную руку — только половина задачи: «Сделать её интуитивной в управлении так же важно».

Пока это прототип. Цены, сроков выхода на рынок и данных о клинических испытаниях в рассказе нет.