Словарь
Бит на байт
Метрика качества языковой модели (bits per byte, BPB): сколько бит в среднем нужно модели, чтобы закодировать один байт текста. Чем меньше значение, тем лучше модель предсказывает текст. В отличие от перплексии, которую считают на токен, эта метрика не зависит от токенизатора, поэтому по ней можно сравнивать модели с разными словарями.