OpenAI вывела из теста сервис Decisions API: до 400 вопросов к модели за запрос вместо 200
Decisions API от OpenAI, где GPT-6 Luna отвечает вероятностью, вариантом или баллом, вышел из тестового режима: вопросов в одном запросе вдвое больше, до 400, а повторно переданный контекст стоит дешевле.
OpenAI вывела из тестового режима Decisions API — сервис, где GPT-6 Luna не пишет текст, а сразу выдаёт решение, — и добавила в него работу с голосом и кэширование.
Почему это важно: приложения и агенты на таком сервисе почти в реальном времени сортируют тексты и картинки и выбирают следующий шаг без полного ответа модели — по словам компании, это быстрее и дешевле.
Предыстория: 29 сентября OpenAI открыла пробный доступ к сервису для избранных клиентов, 6 октября — для всех разработчиков. Тогда компания обещала, что решения в нём принимаются до 10 раз быстрее, чем у той же GPT-6 Luna через обычный Responses API1.
Детали: вот что появилось в сервисе со времени беты:
- Связка с голосовыми моделями GPT-Live2: голосовое приложение может реагировать, пока человек ещё говорит.
- Кэширование промптов3: если приложение раз за разом передаёт один и тот же контекст, это обходится дешевле.
- Данные приложения можно передавать прямо в JSON, а картинки вкладывать в отдельные вопросы, например чтобы сравнить несколько изображений с одним образцом.
- В одном запросе теперь до 400 вопросов, то есть за один вызов можно получить вдвое больше решений.
Расклад: похожий сервис есть у стартапа TypeSafe — его модель Jev тоже не пишет текст, а выбирает ответ из заданных вариантов. В бете OpenAI брала 10 центов за миллион входных токенов, Jev стоит 4,2 цента, зато сервис OpenAI понимает картинки.
В цифрах: с выходом общей версии цена не изменилась: запрос без кэша стоит 10 центов за миллион токенов, ответ модели бесплатен. Часть запроса из кэша обходится со скидкой, а запись в кэш оплачивается; обе ставки такие же, как при обычном кэшировании у GPT-6 Luna.