Выходной токен
Токен (фрагмент текста), который языковая модель порождает в ответе, в отличие от входных токенов запроса. Объём выходных токенов служит основной единицей тарификации API и измерения нагрузки, причём стоит обычно дороже входных.
проверено по: platform.openai.com ↗
См. также
- ТокенТокен — минимальная единица текста, которой оперирует языковая модель: обычно это часть слова, целое слово или знак препинания. В токенах измеряют длину контекста и скорость генерации (токенов в секунду), а также тарифицируют работу коммерческих моделей.
- Кэшированный вводЧасть входных токенов запроса к языковой модели, которую провайдер не обрабатывает заново: он берёт готовый результат из кэша, сохранённый при недавнем запросе с тем же началом. Обычно это длинная неизменная часть: системная инструкция, документ, описание инструментов. Такие токены (cached input) стоят заметно дешевле обычного ввода и обрабатываются быстрее. Подробнее см. «кэширование запросов».
- Контекстное окноМаксимальный объём текста в токенах, который языковая модель может обработать за один раз. В него входят запрос, приложенные документы, история диалога и сам ответ модели. Если текст не помещается, часть приходится обрезать или сжимать. От размера окна зависит, сколько кода или документов можно дать модели разом.
- Пакетная обработкаРежим, в котором запросы собирают в большие порции и обрабатывают асинхронно, без ожидания мгновенного ответа (batch processing). Оборудование при этом загружено плотнее, поэтому провайдеры моделей обычно берут за такие запросы меньше, но результат может прийти через несколько часов. Подходит для оценки моделей, разметки и классификации данных, расчёта эмбеддингов — в отличие от работы в реальном времени, например в чате.
- Уровень рассужденийНастройка моделей с рассуждением (reasoning effort): задаёт, сколько токенов и времени модель тратит на внутренние рассуждения перед ответом. Обычно выбирается из нескольких ступеней — от низкой до высокой или максимальной. Чем выше уровень, тем точнее ответы на сложных задачах, но тем они медленнее и дороже; набор уровней и их названия у разных разработчиков различаются.
В новостях
Red Hat, IBM и Google выпустили llm-d 1.0 для запуска моделей в компаниях
Токен — кусочек слова, которым модель читает и пишет текст. Выходные токены модель генерирует в ответе, входные — читает в запросе.