Tiny Aya Water

Tiny Aya Water — одна из региональных версий линейки Tiny Aya, которую выпустила Cohere Labs, исследовательское подразделение Cohere. В линейке пять моделей: базовая предобученная, сбалансированная Global и три региональные. Earth рассчитана на Африку и Западную Азию, Fire — на Южную Азию, Water — на Европу и Азиатско-Тихоокеанский регион. Все они построены на одной небольшой модели-трансформере на 3,35 млрд параметров, обученной на 70 с лишним языках. В трёх слоях из четырёх модель видит только ближайшие 4096 токенов (токен — кусочек слова), это экономит память. Словарь на 262 тысячи токенов подобран так, чтобы экономно записывать и нелатинские алфавиты.

От Global версия Water отличается настройкой. Сначала её дообучили на данных своего региона, а затем смешали её веса с весами Global методом SimMerge: он сам решает, как объединить две версии, исходя из того, насколько они похожи. Так региональная модель лучше справляется со своими языками и при этом сохраняет общие навыки. По замерам Cohere, сильнее всего региональные версии выигрывают в переводе, а в остальных задачах держатся примерно на уровне Global. Область Water — европейские языки, в том числе русский, украинский, польский и немецкий, а также китайский, японский, корейский, вьетнамский, тайский, индонезийский, тагальский и другие языки Азии и Тихого океана.

Модель выбирают, когда заранее известно, на каких языках говорят пользователи приложения, а обращаться к облаку нежелательно или невозможно. Её задачи — перевод, пересказ, чат-помощник на родном языке пользователя, исследования языков, для которых мало данных. По данным Cohere, версия со сжатыми до 4 бит весами занимает около 2,14 ГБ памяти и работает на ноутбуке и даже на телефоне: на iPhone 13 — около 10 токенов в секунду, на iPhone 17 Pro — около 32. Модель также доступна через API Cohere. В переводе лаборатория сравнивает линейку с соседями по размеру: на тесте Flores Tiny Aya Global, по её замерам, набирает 43,5 балла против 38,9 у Gemma 3 4B и 30,5 у Qwen3 4B.

Cohere прямо предупреждает, что модель слабее в задачах, где нужна цепочка рассуждений, например в математике на разных языках: на тесте GlobalMGSM Tiny Aya Global уступает и Gemma 3 4B, и Qwen3 4B. Модель может ошибаться в фактах, особенно на редких языках, и на разных языках работает неодинаково хорошо. На вопросы о культурных особенностях и бытовом здравом смысле она лучше отвечает, если спрашивать по-английски. Веса открыты под лицензией CC-BY-NC: их можно скачивать, изучать и дообучать, но только в некоммерческих целях. Для коммерческого применения нужно договариваться с Cohere.

источники:Документация Cohere о Tiny Aya ↗Карточка модели на Hugging Face ↗Технический отчёт о Tiny Aya ↗