GPT-Live-1.1

GPT-Live-1.1 — голосовая модель OpenAI, на ней работает голосовой режим ChatGPT. Как и GPT-Live-1, она построена по полнодуплексной схеме: слушает и говорит одновременно и не ждёт, пока собеседник замолчит. Распознавание речи, ответ и озвучка собраны в одной модели, а не разнесены по нескольким отдельным системам. Поэтому она может коротко поддакнуть, пока человек говорит, промолчать, когда он задумался, и не сбиться, если её перебили.

От GPT-Live-1 новая версия отличается прежде всего голосами. OpenAI обещает более естественные акценты в разных языках. Компания добавила новые голоса для французского, немецкого, хинди, японского, корейского и мексиканского испанского, а также новый английский голос Bubbie. Ещё модель чаще меняет короткие фразы, которыми сообщает, что ищет информацию. Вместе с ней вышла уменьшенная версия, GPT-Live-1.1 Quip. В первом поколении полная модель по умолчанию работала на платных тарифах ChatGPT, а уменьшенная — на бесплатном.

Её выбирают для живого разговора голосом, например чтобы обсудить идею или что-то расспросить. Линейка умеет и синхронно переводить: модель проговаривает перевод прямо по ходу речи собеседника, не дожидаясь паузы. Если для ответа нужен поиск в интернете или долгое рассуждение, она передаёт вопрос более сильной текстовой модели OpenAI и продолжает разговор, пока та работает. В API линейка GPT-Live служит голосовой частью приложения: разработчик сам выбирает, какой модели, инструментам или агенту передавать сложную работу.

Сама модель ведёт разговор, а глубоко не рассуждает: сложные задачи решает та модель, которой она их передаёт. Новые голоса пользователи получают постепенно, и, по словам OpenAI, набор голосов может зависеть от региона и аккаунта. В ближайшие месяцы компания обещает добавить новые голоса и языки.

источники:Примечания к выпускам ChatGPT ↗Анонс GPT-Live-1 в API на форуме OpenAI ↗Саймон Уиллисон о запуске GPT-Live ↗