Tiny Aya Global

Tiny Aya Global — версия линейки Tiny Aya от Cohere Labs, исследовательского подразделения Cohere. Её дообучили выполнять инструкции пользователя. Модель небольшая, 3,35 млрд параметров, и устроена как трансформер. В трёх слоях из каждых четырёх она видит только ближайшие 4096 токенов текста, а в четвёртом — всю последовательность. Такая схема экономит вычисления на длинных текстах. Учили её на 70 с лишним языках, среди них много малоресурсных, то есть таких, на которых в интернете мало текстов: амхарский, хауса, суахили, йоруба. После предобучения модель дообучали на примерах и на оценках предпочтений, чтобы ответы были полезными и безопасными.

Всего в линейке четыре версии на одной базе. Tiny Aya Earth лучше работает с языками Западной Азии и Африки, Fire — с языками Южной Азии, Water — с европейскими и азиатско-тихоокеанскими. Global, по словам Cohere, даёт самое ровное качество по всем языкам и регионам. Её выбирают, когда приложение должно работать сразу на многих языках, а региональные версии — когда важна конкретная группа языков.

Cohere предназначает её для чата, пересказа, перевода и задач на стыке языков, а также для исследований многоязычных моделей. Авторы технического отчёта заявляют у линейки лучший результат по качеству перевода. Модель рассчитана на скромное железо: работает на ноутбуке без интернета. Кроме полной версии, Cohere выложила квантизованные, то есть сжатые за счёт меньшей точности весов. Они запускаются в llama.cpp, Ollama и LM Studio.

Ограничения лаборатория называет сама. Модель слабее там, где нужна цепочка рассуждений, например в многоязычной математике (тест MGSM). Она может ошибаться в фактах, особенно на малоресурсных языках, и на самых редких языках качество у неё менее стабильное. Лучше всего она справляется с чёткими запросами, а сложные открытые задачи на рассуждение ей даются хуже. Веса выложены под лицензией CC-BY-NC, то есть только для некоммерческого применения, и с обязательством соблюдать правила использования Cohere Labs. Для коммерческого применения нужно договариваться с Cohere.

источники:Карточка модели на Hugging Face ↗Технический отчёт Tiny Aya ↗