Стартап smartARM научил бионическую руку выбирать хват с помощью камеры

Стартап smartARM из Торонто разрабатывает прототип бионической руки, которая сама узнаёт предмет перед собой и подбирает подходящий хват, говорится в блоге Meta*. Рука «видит» через камеру, встроенную в ладонь.

«Собрать способную руку — только часть задачи. Не менее важно, чтобы ею было интуитивно просто пользоваться», — пояснил основатель и глава smartARM Хамаял Чоудри.

Многие привычные протезы кисти требуют вручную переключать режимы хвата под разные предметы. Из-за этого простое действие, например взять стакан, а потом ложку, растягивается на несколько шагов.

Предметы распознаёт DINOv2 — открытая модель компьютерного зрения Meta. Ей хватает нескольких опорных фотографий, чтобы узнать новый предмет. По словам компании, так рука осваивает предмет почти сразу, а раньше на это могли уйти недели.

Умные очки Meta AI — необязательное дополнение к протезу. Их камера снимает с точки зрения владельца и помогает руке понять, какой предмет он собирается взять. Для подключения очков smartARM использует набор инструментов Meta для разработчиков Wearables Device Access Toolkit. Новые предметы пользователи добавляют сами через приложение на телефоне.

«Из всех технологий, которые в неё встроены, для меня важнее всего масштабируемость и доступность. Это будущее потребительских протезов», — добавил бывший игрок НФЛ Шакем Гриффин, который давно пользуется рукой smartARM.

Цену протеза и сроки выхода на рынок компания не назвала.