Tiny Aya Earth

Tiny Aya Earth — одна из региональных версий линейки Tiny Aya от исследовательского подразделения Cohere Labs. Это небольшая языковая модель на 3,35 млрд параметров. По устройству это трансформер, в котором слои чередуются так: три слоя со «скользящим окном» внимания (каждый токен видит только ближайшие 4096 токенов), затем один слой, где внимание охватывает весь текст. Базовую модель обучили на 6 трлн токенов. Словарь токенизатора вырос до 262 тысяч токенов, чтобы редкие письменности записывались компактнее. Модель знает больше 70 языков, но лучше всего работает с языками Африки и Западной Азии.

Все модели линейки построены на одной базовой модели. Global одинаково хорошо работает со всеми языками, Fire рассчитана на Южную Азию, Water — на Азиатско-Тихоокеанский регион и Европу. Earth сначала дообучили на подборке данных по десяти языкам Африки, пяти языкам Западной Азии и тридцати европейским. Затем её объединили с Global методом слияния моделей SimMerge: так региональная модель сохраняет общие навыки и защитные настройки. По замерам лаборатории, на переводе на африканские языки Earth в среднем немного обходит Global.

Модель берут для разговора, пересказа, перевода и задач на стыке нескольких языков — особенно там, где нет стабильного интернета или облачные сервисы недоступны. Она рассчитана на запуск прямо на устройстве. В техническом отчёте сказано, что при сжатии весов до 4 бит (квантизации) модель занимает около 2 ГБ памяти и почти не теряет в качестве, а на iPhone 13 выдаёт примерно 10 токенов в секунду. Ещё одна цель, которую называет лаборатория, — дать удобную основу, которую можно дообучить под свой язык.

Веса распространяются по лицензии CC-BY-NC, то есть только для некоммерческого применения. Кроме того, нужно соблюдать правила допустимого использования Cohere Labs, а коммерческое применение придётся согласовывать с отделом продаж Cohere. Сама лаборатория пишет, что модель сильнее всего в свободном письме и разговоре, а задачи, где нужна цепочка рассуждений, например школьная математика на разных языках (тест MGSM), даются ей хуже. В фактических знаниях бывают пробелы, а качество на разных языках неровное. Модель по-прежнему отвечает лучше, если спрашивать её по-английски, и сильнее всего этот разрыв заметен на африканских языках.

источники:Карточка модели на Hugging Face ↗Технический отчёт Tiny Aya ↗