Command R7B Arabic

Что это за модель

Command R7B Arabic — малая модель из линейки Command R, которую Cohere дообучила для арабского языка. Речь о литературном арабском (MSA), втором языке остаётся английский. В модели около 8 млрд параметров: 7 млрд приходится на сам трансформер и ещё 1 млрд на слой векторных представлений слов. Три слоя из четырёх смотрят только на ближайший кусок текста длиной 4096 токенов, а каждый четвёртый охватывает весь текст целиком. После основного обучения модель дообучали на примерах и на оценках людей, чтобы ответы были полезнее и безопаснее.

Основа у неё та же, что у Command R7B. Главное отличие — упор на арабский язык и культурный контекст региона. Cohere адресует её компаниям Ближнего Востока и Северной Африки. Компания заявляет, что модель обходит сверстников своего размера в корпоративных задачах на арабском. По данным карточки модели, она набирает 82,2% в AlGhafa-Native, 60,9% в Arabic MMLU и 83% в TyDI QA Arabic. Старшие соседи вроде Command A намного крупнее и сильнее, а эта модель стоит в разы дешевле средних по каталогу.

Её выбирают для чат-ботов и служебных задач на арабском: извлечь данные, пересказать текст, перевести, разложить по категориям. Для этого у неё два режима. В режиме диалога она отвечает развёрнуто и с разметкой, в режиме инструкций — коротко и по делу. Модель умеет отвечать по присланным документам со ссылками прямо в тексте (генерация с поиском, RAG) на арабском и английском. Ещё она хорошо держит заданную длину ответа и реже сбивается посреди фразы на другой язык. По словам Cohere, её можно запустить на слабой видеокарте, на MacBook и даже на обычном процессоре.

У модели есть оговорки. Под другие арабские диалекты, кроме литературного, её специально не настраивали. Документы для поиска Cohere советует дробить на куски по 100–400 слов, длинные тексты целиком подавать не стоит. Веса открыты, но по лицензии CC-BY-NC: модель нельзя использовать в коммерческих целях, и нужно соблюдать правила допустимого использования Cohere Labs. Для коммерческих задач модель доступна через API Cohere.

Источники: Анонс Command R7B Arabic, Запись в журнале изменений Cohere, Карточка модели на Hugging Face