Google запустила в Gemini Live режим для незрячих и слабовидящих

Google запустила режим Guided Vision в Gemini Live — голосовом режиме своего помощника: на Android-телефонах он вслух описывает, что видит камера, и подсказывает незрячим, как её навести.

Почему это важно: незрячий человек не видит, попал ли нужный предмет в кадр. Новый режим сам замечает, что камера смотрит слишком высоко, слишком близко или в сторону, и просит медленно повернуть телефон вправо, наклонить вниз или отойти назад.

Детали: Google называет повседневные дела, где нужно быстро что-то проверить глазами:

• Прочитать мелкий текст: состав на упаковке, режимы стиральной машины или меню в плохо освещённом ресторане.
• Найти вещь поблизости, например упавший на пол наушник или чёрный перец в тесном шкафу со специями.
• Сверить цвета и узоры: подойдёт ли рубашка в полоску к брюкам, какого цвета куртка.
• Описать незнакомую комнату, её планировку или то, что разложено на столе.

Как обучали: Google готовила режим вместе с Aira — американским сервисом, где незрячим по видеосвязи описывают окружение живые операторы.

• Специалисты Aira в сумме десятки тысяч часов описывали визуальные данные, на которых Gemini Live учили разговору о реальной обстановке.
• Больше 1 000 тестировщиков из сети Aira проверяли режим в повседневных делах и помогали его доработать.
• Специалисты Aira вместе с командами Google задавали ограничители¹ модели и проверяли, как они срабатывают.

Как включить: в профиле приложения Gemini нужно включить переключатель Use Guided Vision in Live, затем открыть Gemini Live и включить в нём камеру. Ещё можно назначить быстрый запуск в настройках специальных возможностей Android. Тогда, чтобы вызвать режим, достаточно нажать плавающую кнопку, провести двумя пальцами вверх от нижнего края экрана или зажать и удерживать обе кнопки громкости. Пользователи экранного диктора TalkBack могут выбрать режим прямо в его меню.

Если шире: Google считает, что режим пригодится не только незрячим и слабовидящим, но и пожилым людям, тем, кому трудно читать, и всем, кто разбирает мелкий шрифт при слабом свете.

Что говорят: «Хотя режим только в начале пути, я с радостью оставлю Guided Vision включённым и не собираюсь возвращаться к обычному режиму камеры», — написала Карин Киван (Kareen Kiwan), автор сайта Accessible Android о доступности Android для незрячих. Она попробовала режим в сентябре, когда он начал появляться у первых пользователей.

«Главное ограничение — чтобы узнать о любой перемене, его приходится спрашивать снова: у Live нет наблюдения в реальном времени и непрерывного анализа картинки», — добавила Киван.

Но: Google предупреждает, что режим может ошибаться. Это не медицинское изделие и не замена белой трости: для ориентирования на улице, подсказок по безопасному передвижению и обнаружения препятствий он не предназначен.

Guided Vision работает на Android 9 и новее — в тех странах и на тех языках, где доступна Gemini Live. Режим говорит на нескольких языках: его проверяли незрячие и слабовидящие пользователи в Индии, Бразилии, Сингапуре, Индонезии, Японии и других странах.