Command R+

Command R+ 08-2024 — августовское обновление старшей модели линейки Command R от Cohere. Это языковая модель на 104 млрд параметров, построенная на трансформере. В ней применён механизм группового внимания (grouped query attention), который ускоряет выдачу ответа. Модель рассчитана на генерацию с поиском: ей передают фрагменты документов, она отвечает по ним и ставит ссылки на источники каждого утверждения.

По данным Cohere, при том же железе обновлённая версия даёт примерно на 50% больше пропускной способности и на 25% меньшую задержку, чем прежняя Command R+. Компания также заявляет, что модель стала точнее решать, когда вызывать инструменты, лучше следовать системным указаниям и разбирать таблицы и другие структурированные данные. Кроме того, она научилась отказываться отвечать, если в документах нет ответа. Младшая Command R того же обновления, по словам Cohere, дотягивает до уровня прежней Command R+.

Модель берут для корпоративного поиска по базам знаний, ответов на вопросы, пересказа документов и агентных сценариев. В таких сценариях она может вызывать несколько инструментов подряд и передавать результат одного вызова в следующий. Лучше всего она работает на десяти языках: английском, французском, испанском, итальянском, немецком, бразильском португальском, японском, корейском, упрощённом китайском и арабском. Русский входит ещё в 13 языков, которые были в данных для обучения, но отдельно их не оптимизировали.

Сейчас сама Cohere для большинства задач советует брать более новую Command A, а Command R+ оставляет для сложных процессов с поиском и многошаговых агентов. Веса модели открыты на Hugging Face, но по некоммерческой лицензии CC-BY-NC. Скачать их можно только после того, как примешь условия и правила допустимого использования Cohere Labs.

источники:Анонс обновления линейки Command R ↗Документация Command R+ ↗Карточка модели на Hugging Face ↗