Сотрудник OpenAI с помощью Codex научил настенное табло понимать голос. Как это работает
Разговор ведёт голосовая модель GPT-Live-1, а прогноз погоды, время прибытия поездов метро и картинки для экрана 128 на 64 пикселя ищет GPT-5.6 Luna. Модели связывает мини-компьютер Raspberry Pi.
Сотрудник OpenAI Сид Рампалли (Sid Rampally) превратил светодиодное табло на стене в голосового помощника. По команде оно показывает погоду, прибытие поездов метро, календарь и картинки. В блоге OpenAI для разработчиков Рампалли рассказал, как собирал систему вместе с Codex — агентом OpenAI для программирования. Аккаунт OpenAI для разработчиков в соцсети X подал историю как пример того, что можно сделать с Codex.
«В другое время я бы, наверное, бросил всё, как только вскрыл дисплей», — признал Рампалли. По его словам, опыта с такими панелями, контроллерами и голосовыми моделями у него не было.
Табло на 128 на 64 пикселя он купил в подарок соседу по квартире. Изначально оно показывало самолёты, пролетающие мимо их окна. Рампалли присылал Codex фотографии платы, и тот отмечал на снимках нужные соединения. Codex также помог поставить на контроллер другую прошивку и написать программу, которая рисует кадры для табло. Провода Рампалли подключал сам.
Первая версия зависела от ноутбука. Команды автор давал голосом через настольное приложение ChatGPT, а кадры для табло готовил его Mac. Стоило ноутбуку уснуть, и табло переставало реагировать. Тогда всё, что должно работать постоянно, перенесли на Raspberry Pi1. Теперь помощника, которого автор назвал Джеком, можно позвать фразой «Эй, Джек».
С человеком говорит GPT-Live-1 — голосовая модель OpenAI, которая слушает, пока говорит, и позволяет себя перебивать. Если для ответа нужен поиск, календарь, картинка или обновление экрана, Raspberry Pi передаёт задачу через API быстрой и недорогой модели GPT-5.6 Luna. Та ищет в интернете, заглядывает в календарь без права что-либо менять и подбирает изображения на Викискладе2, проверяя лицензию. Затем Luna решает, как показать ответ: берёт готовый шаблон экрана — погоду, расписание из календаря, сообщение или обратный отсчёт — или придумывает новый, если просят то, чего заранее не предусмотрели. Программа на Raspberry Pi получает от Luna это описание экрана, проверяет его и превращает в кадры для табло.
Одна из ошибок всплыла в обычном разговоре. Рампалли спросил погоду в Нью-Йорке, а потом попросил: «Покажи это на стене». Помощник не понял, что значит «это». Codex выяснил, что модели, которая обновляет экран, передавался только последний запрос. Теперь ей отправляют и недавнюю часть разговора, и прежние результаты.
Ранее, 17 сентября, в Codex появился голосовой агент на той же GPT-Live-1. 22 сентября аккаунт OpenAI для разработчиков рассказывал о хирурге из Сан-Франциско, который сам делает в Codex инструменты для работы.