Baidu выложила модель ERNIE 5.5 Flash для дообучения, но не для ЕС, Британии и Южной Кореи

Baidu выложила на Hugging Face веса ERNIE 5.5 Flash Base — модели на 280 млрд параметров, которую остановили сразу после предобучения¹. Вести диалог и выполнять инструкции её ещё не учили: это заготовка, которую разработчики доводят сами.

Почему это важно: предобучение на триллионах токенов — долгая и дорогая стадия создания модели, и Baidu отдаёт её результат как общую отправную точку. Дальше разработчик сам решает, чему учить модель: отраслевым задачам, рассуждениям или работе агентом, который сам выполняет задачи с помощью программ и других инструментов. «Мы надеемся, что этот выпуск избавит больше разработчиков от затрат на масштабное предобучение», — пишет компания.

Детали: модель устроена как смесь экспертов²: на каждый токен³ работают 14 млрд параметров из 280 млрд. Экономить на длинных текстах начали ещё при проектировании модели: лишь 6 из 43 слоёв видят весь текст с точностью до токена, остальные хранят по одной записи на каждые 128 токенов. Учили модель на текстах длиной до 128 тыс. токенов, а при дообучении и в работе она принимает до 1 млн.

В обучающих данных — 33,5 трлн токенов. Упор Baidu сделала на то, что, по её словам, трудно добавить позже: код целых репозиториев с историей правок, обсуждений ошибок и проверок, а также длинные документы.

В цифрах: Baidu сравнила ERNIE с базовыми версиями китайских моделей близкого размера — DeepSeek-V4-Flash, Hy3 от Tencent в предварительной версии и MiMo-V2.5 от Xiaomi. Все прошли 30 тестов с одинаковыми запросами и настройками, и, по замерам Baidu, в большинстве из них впереди ERNIE. В экзаменационных вопросах по разным наукам MMLU-Pro она набрала 78,4 балла, лучший из соперников, DeepSeek, — 69,2. В задачах по программированию LiveCodeBench разрыв похожий: 40,1 против 33,5 у Hy3.

Уступает ERNIE в нескольких тестах. DeepSeek сильнее в вопросах на знание фактов на китайском и в тесте на очень длинные тексты InfiniteBench, Hy3 — в наборе задач по программированию FullStackBench.

Но: открытые ERNIE 4.5 в июне 2025 года вышли под свободной лицензией Apache 2.0, а у новой модели — собственное соглашение Baidu со своими условиями:

• Для исследований, учёбы и личных опытов модель бесплатна.
• Встраивать модель в продукты бесплатно можно, пока продукты и услуги компании с ERNIE или её производными приносят за предыдущие 12 месяцев не больше 50 млн долларов. Для этого нужно указать «Powered by ERNIE» и заранее уведомить Baidu.
• Если выручка таких продуктов выше, нужно письменное разрешение Baidu, а плату оговаривает отдельный договор. Выручку компаний под общим контролем при этом складывают.
• Пользоваться моделью, её производными и её ответами нельзя в ЕС, Великобритании и Южной Корее.

Кроме того, на ответах ERNIE нельзя учить другие модели, кроме производных от неё самой, а военное применение запрещено.

Что дальше: «Эта базовая модель — лишь отправная точка. Дообученная ERNIE 5.5 Flash выйдет следом», — пишет Baidu. Срок компания не назвала.