Бит на байт
Метрика качества языковой модели (bits per byte, BPB): сколько бит в среднем нужно модели, чтобы закодировать один байт текста. Чем меньше значение, тем лучше модель предсказывает текст. В отличие от перплексии, которую считают на токен, эта метрика не зависит от токенизатора, поэтому по ней можно сравнивать модели с разными словарями.
проверено по: arxiv.org ↗
См. также
В новостях
Один исследователь Mirendil с ИИ-агентами обучил модель для кода с нуля
Мера того, насколько хорошо языковая модель предсказывает текст или код: сколько бит информации ей в среднем нужно на один байт данных. Чем меньше, тем лучше; мера не зависит от того, как модель делит текст на токены, поэтому по ней сравнивают разные модели.