Aya Expanse 32B

Что это за модель

Aya Expanse 32B — языковая модель на 32 млрд параметров от исследовательского подразделения Cohere Labs (раньше называлось Cohere For AI). Это авторегрессионный трансформер, то есть модель пишет текст по одному токену и каждый следующий подбирает с учётом уже написанного. Основой послужила линейка Command, но модель дообучили для 23 языков. Среди них русский, украинский, арабский, китайский, японский, хинди, турецкий, персидский и основные европейские языки. Вместе с ней вышла младшая версия на 8 млрд параметров.

Aya Expanse продолжает исследовательскую линейку Aya, в которой раньше вышли Aya 101 и Aya 23. По словам Cohere, в модель вошёл год работы над несколькими методами. Первый лаборатория называет арбитражем данных: учебные ответы берут не у одной модели-учителя, а у нескольких, и отдельная модель-оценщик выбирает лучший. Второй — обучение на предпочтениях: сильный ответ, изначально написанный на нужном языке, сравнивают со слабым переводным. Третий — слияние моделей: несколько версий, каждую из которых обучали на своей группе языков, усредняют в одну.

Модель берут для чата, ответов на вопросы и генерации текста не на английском, а на других языках, в том числе на тех, для которых мало обучающих данных. Лаборатория сравнивала её с Gemma 2 27B, Mixtral 8x22B, Llama 3.1 70B и Qwen 2.5 32B на собственном наборе тестов Aya Evaluation Suite и на многоязычном m-ArenaHard. Ответы моделей попарно оценивала GPT-4o. По этим замерам Aya Expanse 32B чаще выигрывала у соперников, в том числе у Llama 3.1 70B, которая больше её вдвое.

Модель работает только с текстом: картинки понимают вышедшие позже Aya Vision 8B и 32B. Веса открыты по лицензии CC-BY-NC, которая запрещает коммерческое использование. Кроме того, нужно соблюдать правила допустимого использования Cohere Labs. Лаборатория выпускала модель для исследователей и сообщества, а не для коммерческих продуктов.

Источники: Карточка модели на Hugging Face, Технический пост Cohere об Aya Expanse