OpenAI дала разработчикам создавать голоса по описанию для модели GPT-Live

OpenAI дала разработчикам, которые строят приложения на голосовой модели GPT-Live-1, создавать новый голос по текстовому описанию — записывать диктора и брать у него согласие для этого не нужно.

Почему это важно: на сентябрьском запуске у GPT-Live-1 в API было 12 готовых голосов. Голос по описанию может создать любой клиент API, а голос по записи живого человека OpenAI даёт только отдельным клиентам через отдел продаж.

Повод: аккаунт OpenAI для разработчиков в соцсети X написал: «Строите приложения на GPT-Live-1? Дайте им подходящий голос» — и сослался на руководство. В том же посте компания объявила девять новых готовых голосов на французском, немецком, хинди, японском и корейском. Их записали актёры, для которых это родной язык.

Предыстория:

• 10 сентября OpenAI открыла разработчикам GPT-Live-1: модель слушает и говорит одновременно и стоит 5 центов в минуту.
• 15 октября в ChatGPT вышла GPT-Live-1.1 с новыми голосами на семи языках, а в API её обещали «скоро».

Как это работает: голос описывают обычными словами: акцент, возраст, высота, тембр, темп, громкость. Пример из руководства — «тёплый взрослый голос среднего тона с ровным насыщенным тембром, неторопливая успокаивающая подача». К описанию можно приложить образец до 2 000 знаков — текст, который будет произносить голос: по нему сервис подбирает звучание. Без образца сервис составит такой текст сам по описанию голоса. В ответ разработчик получает номер голоса, а не аудио: услышать голос можно только в сессии GPT-Live, и выбирают его в начале сессии.

Детали: в описании нельзя просить подражать конкретному человеку, знаменитости или вымышленному персонажу, детские голоса запрещены. Слушателей нужно предупреждать, что речь создана ИИ, и не стирать водяные знаки и метаданные о её происхождении.

В цифрах:

• Создать голос по описанию бесплатно, но разговор им оплачивается как обычная сессия GPT-Live — даже прослушивание в «песочнице» (Playground).
• Одна организация может создать до 100 голосов по описанию, включая те, что приложение создаёт для своих клиентов.
• Голосов по записи — до 20 на организацию, а образец для каждого не длиннее 30 секунд.

Но: у голосов по описанию есть ограничения:

• Они работают только в GPT-Live: в API синтеза речи, Realtime API¹ и Chat Completions API² их не подключить.
• Уникальность не гарантирована: у другого разработчика может получиться похожий голос.
• Создание голоса несовместимо с режимом нулевого хранения данных, при котором OpenAI не сохраняет данные клиента.

Голос по записи создают из двух файлов: на одном диктор зачитывает одну из заданных фраз согласия, на другом — образец речи того же человека. В GPT-Live-1 такие голоса говорят только на разных вариантах английского — британский или ирландский акцент задают в инструкциях сессии.