Институт Ai2 научил модели Alibaba и Meta* читать текст по байтам, метод вышел в Nature

Журнал Nature опубликовал статью Ai2¹ о том, как недорого переучить готовую языковую модель читать текст байтами, а не кусками слов, а институт выложил байтовые версии Qwen 3 8B и Llama 3 8B. Ai2 объявила об этом 7 октября в соцсети X.

Почему это важно: байтовые модели давно обещают лучше справляться с написанием слов, кодом и неанглийскими языками, но все ведущие модели по-прежнему читают текст кусками слов. Ai2 показывает, что байтовую модель не обязательно учить с нуля, и метод сработал не только на собственных моделях института.

Предыстория: метод Ai2 показала в декабре 2025 года вместе с моделями Bolmo 7B и Bolmo 1B — байтовыми версиями своих открытых Olmo 3 7B и OLMo 2 1B. Тогда же вышел препринт, а в Nature напечатана доработанная версия с новыми моделями.

Общая картина: обычная модель делит текст на токены — слова и их куски из заранее составленного словаря. Из-за этого она плохо видит отдельные буквы, а в коде и формулах словарь может разрезать осмысленную единицу. Байтовые модели читают те же байты, которыми компьютер хранит текст, но до сих пор отставали: их учили с нуля, а обычные модели за это время уходили вперёд.

Как это работает: рецепт Ai2 сохраняет ядро исходной модели и достраивает вокруг него лёгкие модули.

• Один модуль решает, где кончается очередной фрагмент, и собирает байты в куски разной длины для ядра.
• Другой разворачивает ответ ядра обратно в байты и предсказывает следующий байт.
• На первом этапе учатся только новые модули, а веса исходной модели заморожены; на втором дообучается вся модель.

Детали: что Ai2 выложила на Hugging Face.

• Bwen 8B сделана из Qwen 3 8B, Blama 8B — из Llama 3 8B; по оценкам Ai2, обе почти не уступают исходным моделям.
• В среднем по набору тестов Ai2 модель Bwen 8B обошла Bolmo 7B, сделанную из собственной модели института.
• Промежуточные версии после первого этапа: байтовые модули в них уже обучены, а исходные веса не тронуты, поэтому исследователи могут пробовать новые архитектуры, не повторяя этот этап.

В цифрах:

• На переделку Olmo 3 7B в Bolmo 7B за оба этапа ушло 49,1 млрд токенов — по оценке авторов, меньше 1% обычного бюджета предобучения².
• В препринте Bolmo 7B решила 78,6% задач теста CUTE на понимание отдельных букв, а исходная Olmo 3 7B — 56,9%.
• В задачах по естественным наукам и математике Bolmo 7B на 16,5 процентного пункта обошла BLT 7B — байтовую модель Meta, обученную с нуля.

Но: в препринте Bolmo 7B с первой попытки решала меньше задач по программированию, чем Olmo 3 7B (40,6% против 49% в тесте HumanEval), и выдавала текст медленнее — около 125 байт в секунду против примерно 150. Авторы пишут, что модель можно ускорить, если научить её собирать в один фрагмент больше байтов.

В Ai2 надеются, что Bolmo откроет путь к более крупным моделям, которые сами подстраивают представление информации под язык и область знаний. Картинки и звук тоже записываются байтами, поэтому, по мнению института, со временем эти идеи можно будет перенести и за пределы текста.