Cohere рассказала, как научила маленькую модель рассуждать на языке вопроса

Cohere рассказала, как научила небольшую модель Tiny Aya¹ L2-Thinker рассуждать на языке вопроса: на 60 языках она пишет ход решения на языке пользователя больше чем в 93% случаев.

Почему это важно: модели рассуждения обычно думают по-английски, даже если вопрос задан на испанском, арабском или суахили. Ответ приходит на языке пользователя, но проверить ход решения и найти в нём ошибку может лишь тот, кто читает по-английски.

Повод: статья Cohere Labs, исследовательского подразделения компании, вышла на arXiv 9 сентября, а открытые веса² модели лежат на Hugging Face под некоммерческой лицензией. Теперь Cohere подробно разобрала результаты в блоге.

Как это работает: Tiny Aya L2-Thinker — модель на 3,35 млрд параметров, построенная на основе Tiny Aya. L2 в названии — так авторы обозначают рассуждение на языке пользователя. Модель дообучили на смеси трёх видов данных:

• Около 1,7 млн пошаговых решений на английском, которые сгенерировала открытая модель OpenAI gpt-oss-120b. На них одних модель рассуждала на языке вопроса лишь в 12,8% случаев, даже по прямой просьбе.
• Машинный перевод части таких решений на 44 языка, около 5 000 примеров на язык. Эта небольшая добавка подняла долю рассуждений на языке вопроса до 86,1%, а заодно и точность.
• Вопросы и ответы на разных языках без записи рассуждений. Таких данных много, и они помогают перенести навык на языки, для которых примеров рассуждений не было.

Детали: на вопрос на хинди о том, какое событие сулит удачу, модель рассуждала на хинди об индийских приметах и ответила верно. Версия, которая думает по-английски, выдала ответ с западным уклоном и не взвесила варианты.

В цифрах: для сравнения авторы обучили близнеца — Tiny Aya En-Thinker на той же основе и похожих данных, но с рассуждениями по-английски. Сравнение L2-Thinker с этим близнецом показало:

• На пяти из шести тестов точность падает не больше чем на два-три пункта, а в тесте на свободное письмо MIST-OEG даже немного растёт.
• На вопросы по-английски модель по-прежнему рассуждает по-английски и на большинстве тестов не уступает близнецу.
• Доля рассуждений на языке вопроса растёт с почти нуля до более чем 93%.

Расклад: авторы разделили языки на четыре группы по объёму текстов в интернете — от английского и немецкого до суахили, зулу и валлийского. Чем реже язык, тем заметнее сдают другие модели:

• Tiny Aya L2-Thinker рассуждает на языке вопроса в 99% случаев в двух верхних группах и в 94,3% и 94,5% случаев — в двух нижних.
• У Magistral Small от Mistral на 24 млрд параметров эта доля падает с 72% до 5%.
• M-Thinker-7B проседает по всем показателям, а её рассуждения становятся примерно вдвое длиннее.
• Qwen3.5-4B просьбу думать на языке вопроса почти не замечает. Если вписать за неё первые слова рассуждения, она держит язык, но теряет в точности и тратит больше токенов³.

Интрига: по наблюдению авторов, у проверенных моделей длинное рассуждение обычно значит не усердие, а зацикливание. Модель повторяет одни и те же шаги, пока не исчерпает лимит в 32 000 токенов, и так и не отвечает. Qwen3.5-4B регулярно тратит на рассуждения от 10 000 до 25 000 токенов, Tiny Aya L2-Thinker — в среднем меньше 5 000.

Но: с олимпиадной математикой из теста PolyMath модель справляется заметно хуже англоязычного близнеца. Авторы считают, что дело в пропущенном этапе — модель не прошла обучение с подкреплением⁴, которое больше всего помогает в трудной математике и сглаживает огрехи машинного перевода учебных данных.

Итог: по словам авторов, «способность рассуждать и язык рассуждений разделимы»: решать задачи модель учится на английских данных, а язык рассуждений перенимает из небольшой многоязычной добавки.