Утилита Уиллисона по умолчанию считает длину текста для GPT-5 и GPT-6, а не GPT-4
Утилита Уиллисона по умолчанию делит текст на токены так же, как GPT-5 и GPT-6, а от числа этих кусочков зависят цена запроса и то, уместится ли текст в модель. Что GPT-5 и GPT-6 делят текст одинаково, OpenAI не подтверждала.
Саймон Уиллисон1 выпустил версию 1.0 своей утилиты для подсчёта токенов: по умолчанию она считает их токенизатором2 GPT-5 и GPT-6, а не GPT-4.
Детали: утилиту запускают в командной строке — она показывает, сколько токенов в тексте, и обрезает текст до заданного их числа. Сначала Уиллисон выпустил версию 0.4, поставил её и заметил, что она всё ещё считает токены как для GPT-4. Смену настройки он счёл поводом наконец выпустить 1.0.
Но: OpenAI не подтверждала, что у GPT-6 тот же токенизатор, что у GPT-5. В репозитории библиотеки OpenAI для подсчёта токенов, на которой построена утилита Уиллисона, с 24 сентября висит жалоба: поддержку GPT-6 туда так и не добавили.
Уиллисон сослался на опыт разработчика Уильяма Лю: тот прогнал 31 файл через API OpenAI для подсчёта токенов. У семи моделей, от GPT-5.5 до GPT-6 Astra, Sol и Luna, число токенов совпало на каждом файле, а на весь набор у каждой вышло по 44 794.