Токенизатор
Компонент обработки текста (tokenizer), который разбивает текст на токены — слова, части слов, символы или байты, — и сопоставляет каждому числовой идентификатор из словаря. Он же выполняет обратное преобразование: из идентификаторов в текст. Модель работает с тем токенизатором, с которым её обучали (распространённые алгоритмы — BPE, WordPiece, SentencePiece). Поэтому один и тот же текст у разных моделей занимает разное число токенов, а от этого зависят цена запроса и то, сколько текста помещается в контекстное окно.
проверено по: huggingface.co ↗
В новостях
Утилита Уиллисона по умолчанию считает длину текста для GPT-5 и GPT-6, а не GPT-4
Часть языковой модели, которая режет текст на токены — куски слов и знаков, с которыми работает модель. У разных токенизаторов один и тот же текст даёт разное число токенов, а от него зависят цена запроса и то, поместится ли текст в контекстное окно.