Tiny Aya Fire

Tiny Aya Fire — одна из четырёх версий линейки Tiny Aya. Её выпустило исследовательское подразделение Cohere Labs. Все версии построены на одной модели с 3,35 млрд параметров, которую обучили на 6 трлн токенов текста на 70 языках. Fire настроена на языки Южной Азии: хинди, бенгальский, урду, тамильский, телугу, гуджарати, маратхи, панджаби и непальский. Это девять языков с семью разными письменностями. Модель — трансформер. На каждые три слоя, которые видят только ближайшие 4096 токенов текста, в ней приходится один слой, видящий текст целиком: так она работает быстрее и требует меньше памяти.

Региональную версию сделали так: модель, дообученную на языках региона, объединили с общей версией линейки. Для этого лаборатория взяла свой метод SimMerge, который заранее подбирает удачный способ объединения. Метод выбирали так, чтобы поднять средний результат по языкам региона и при этом не дать ни одному из них сильно отстать. В итоге Fire сильнее в южноазиатских языках, но не теряет остальные. Другие версии линейки: Tiny Aya Global даёт ровное качество на всех языках, Earth нацелена на Африку и Западную Азию, Water — на Европу и Азиатско-Тихоокеанский регион. По замерам из технического отчёта, общая версия переводит лучше, чем Gemma3-4B от Google, на 46 из 55 языков теста WMT24++.

Модель рассчитана на работу прямо на устройстве, без интернета. Это перевод офлайн, быстрые локальные помощники и приложения, где данные пользователя не покидают телефон или ноутбук. Лаборатория называет и другие задачи: диалог, пересказ текста, исследования языков, по которым мало данных. Модель можно сжать квантизацией — хранить её веса с меньшей точностью. В 4-битном варианте она занимает 2,14 ГБ. По данным отчёта, на iPhone 13 она выдаёт около 10 токенов в секунду, а на iPhone 17 Pro — около 32.

Ограничения Cohere называет сама. Модель слабее в задачах, где нужны пошаговые рассуждения, и лучше справляется с ясными запросами, чем со сложной логикой. Она может ошибаться в фактах, особенно на редких языках, и хуже передаёт культурные тонкости. Качество от языка к языку неровное. Если обращаться к модели по-английски, а не на языке региона, результаты по южноазиатским языкам падают. Веса выложены под лицензией CC-BY-NC: свободно пользоваться ими можно только в некоммерческих целях и по правилам допустимого использования Cohere Labs. Для коммерческого применения нужно договариваться с Cohere.

источники:Карточка модели на Hugging Face ↗Технический отчёт Tiny Aya ↗