OpenAI открыла разработчикам голосовую модель GPT-Live-1 из ChatGPT

10 сентября OpenAI открыла через API голосовую модель GPT-Live-1, которую сначала встроила в ChatGPT. Модель слушает и говорит одновременно и может вести телефонные разговоры.

Почему это важно: Обычно голосового агента собирают из трёх звеньев: распознавания речи, текстовой модели и синтеза речи. На каждой передаче между ними теряется время, а GPT-Live-1 закрывает всю голосовую часть одной моделью.

Как это работает: GPT-Live-1 ведёт сам разговор, а рассуждения и вызовы инструментов передаёт текстовой модели. Пока та работает в фоне, беседа идёт дальше. Модель за голосом разработчик выбирает сам:

• Для массовых задач вроде записи на приём или вопросов о заказе OpenAI предлагает связку с моделью Luna.
• Для сложных обращений клиентов, где нужно рассуждать, компания предлагает GPT-6 Astra; можно подключить и модель другого разработчика.

Детали: В версии для API разработчики получили больше контроля над агентом:

• Тон, темп и манеру речи агента задают в системном запросе — инструкции, которую модель получает перед разговором.
• Фоновый шум и молчание не сбивают модель, и она не проговаривает вслух каждый свой шаг.
• В долгих разговорах модель лучше помнит сказанное и не теряет в качестве беседы.
• К прежнему небольшому набору голосов добавились голоса с разными акцентами, диалектами и языками.

В цифрах: Результаты модели и её цена:

• Минута работы стоит 5 центов, но цена указана только за голосовую часть, а текстовую модель за ней разработчик выбирает сам.
• На бенчмарке Full Duplex Bench¹ GPT-Live-1 набрала на 30 процентных пунктов больше, чем GPT-Realtime-2.1 — прошлая голосовая модель OpenAI для API.
• В связке с GPT-6 Astra на среднем уровне рассуждений GPT-Live-1 заняла первое место в τ³-bench², тесте голосовых агентов на задачах поддержки клиентов.
• Приложение для изучения языков Speak в ранних тестах насчитало почти на 80% меньше случаев, когда ИИ-репетитор перебивал ученика, чем у прежних систем, где стороны говорят по очереди.

Если шире: Крупным компаниям OpenAI предлагает готовый продукт на той же модели — Presence. Его агенты отвечают на вопросы, работают с системами компании, выполняют одобренные действия и при необходимости передают разговор людям.

Но: Результаты на бенчмарках — собственные замеры OpenAI, а данные Speak — ранняя оценка одного клиента.

Что дальше: В ближайшие месяцы OpenAI обещает добавить новые голоса и языки. Собственный голос для продукта можно запросить через отдел продаж, там же объясняют условия доступа.

Подробнее: OpenAI в августе рассказала, как за полгода построила GPT-Live: модели не нужен отдельный детектор пауз, а соединение устанавливается за один обмен по сети.