Google научила Pixel 11 понимать американский жестовый язык вместо набора текста

Глухие владельцы Pixel 11 теперь могут показывать жесты в камеру там, где обычно печатают текст. Клавиатура Gboard и приложение «Прямая расшифровка» переводят американский жестовый язык (ASL) в английский текст. Работает это на модели SL2T от Google DeepMind. Функция бесплатная, позже её получат другие устройства и языки.

Сценарии те же, что у голосового ввода для слышащих. Жестами можно искать в интернете, писать сообщения и документы, давать задания Gemini. В «Прямой расшифровке» можно отвечать собеседнику жестами, а не набирать реплики. По словам тестировщиков, жестовый ввод быстрее и естественнее, чем печатать по-английски.

Задача сложнее распознавания речи. Жестовые языки — самостоятельные языки со своей грамматикой, а не «английский на пальцах». Поэтому модель должна именно переводить, а не подставлять слово за жест. К тому же смысл передают одновременно руки, корпус, голова и мимика, и всё это нужно отслеживать с высокой частотой кадров.

SL2T обучили на более чем 100 000 часов записей на 50 с лишним жестовых языках, около четверти данных — на ASL. По данным авторов, совместное обучение на многих языках дало лучший результат, чем модели для одного языка. Видео с камеры на сервер не уходит. Прямо на телефоне отдельная модель находит точки на теле человека, и на сервер отправляются только их координаты, а само видео сразу удаляется.

На бенчмарке FLEURS-ASL модель набрала 70 баллов по метрике BLEURT без обучения на данных этого теста. В Google говорят, что это заметно выше всех опубликованных результатов. Отдельно команда уменьшала задержку, учила модель не выдумывать текст, когда человек не жестикулирует, и проверяла, как она справляется с левшами и жестами одной рукой, пока другая держит телефон.

Проект придумал глухой сотрудник Google Сэм Сепах (Sam Sepah). Для контроля за запуском компания собрала консультативный комитет AISLAC из организаций глухих и экспертов. Вместе с ними Google выпустила отчёт о возможностях и ограничениях первой версии. Дальше в планах новые жестовые языки и обратное направление — генерация жестов.