Command R7B

Что это за модель

Command R7B — самая маленькая и быстрая модель в линейке Command R, которую Cohere делает для корпоративных задач. В ней 7 млрд параметров. По карточке модели, она построена на трансформере с чередованием слоёв: три слоя из четырёх смотрят только на ближайшие 4096 токенов (скользящее окно внимания), а каждый четвёртый видит весь текст целиком. Такая схема помогает дёшево работать с длинными документами.

Старшие модели линейки, Command R и Command R+, крупнее и требуют больше вычислительных мощностей. R7B компания задумывала как вход в линейку: её можно запустить на обычной видеокарте и даже на устройстве пользователя. Позже на смену линейке R пришла Command A, и R7B теперь относится к прошлому поколению.

Главное назначение модели — генерация с поиском (RAG): модель получает найденные фрагменты документов и строит ответ на их основе. Cohere пишет, что она особенно хорошо опирается на эти источники. Ещё модель умеет вызывать внешние инструменты, в том числе цепочкой из нескольких шагов, как это нужно простому агенту. По словам компании, она не вызывает инструменты без нужды. В карточке также названы пересказ текстов, ответы на вопросы, SQL и перевод кода с одного языка на другой. Модель обучали на 23 языках, среди них английский, французский, японский, китайский и арабский.

Веса выложены на Hugging Face под лицензией CC-BY-NC. Она разрешает только некоммерческое использование и требует соблюдать правила допустимого использования Cohere. Для бизнеса модель доступна через платный API Cohere. Из-за малого размера она слабее старших моделей на сложных задачах, поэтому её берут там, где важнее скорость и цена.

Источники: Анонс Command R7B в блоге Cohere, Документация Cohere, Карточка модели на Hugging Face