ИИтак

← Назад

Модель · Cohere

Command R+

Устаревшая модель Cohere для поиска по корпоративным документам со ссылками на источники и для работы с инструментами, её сменила Command A

вышла 30 августа 2024

Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиШкала условная (Claude 3.5 Sonnet = 130, GPT-5 = 150); интервал — 90-процентный диапазон оценки, и модели с перекрывающимися интервалами надёжно не различаются.Подробнее на английском ↗

192 место из 266
индекс 119, вероятный разброс 111–125 · весь рейтинг →

БенчмаркРезультатОбычно — доля заданий теста, которые модель решила. У некоторых тестов свой счёт; как он устроен, сказано в пояснении к названию тестаУсилиеНасколько долго модель рассуждала перед ответом, когда её проверяли: низкое, среднее, высокое, очень высокое, максимальное. Чем выше усилие, тем обычно выше результат — и тем дольше и дороже ответ. Показан лучший результат и усилие, на котором он получен
DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗ 24,9%
LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗ 5,9%
SimpleBenchВопросы с подвохом на здравый смысл: пространство, время, поведение людей. 213 вопросов, у каждого шесть вариантов ответаЛюди в проверке авторов набрали около 84%, а балл модели — средняя точность по пяти прогонам.Подробнее на английском ↗ 0,9%
MMLUВопросы с четырьмя вариантами ответа из десятков областей: гуманитарные и естественные науки, социальные науки, профессиональные знанияТест почти насыщен: сильные модели набирают около 90% и выше, и разница между лидерами мала, а часть промахов приходится на ошибки в самом тесте.Подробнее на английском ↗ 59,2%

Характеристики

Вышла
30 августа 2024
КонтекстСколько текста модель учитывает за один запрос: вопрос, приложенные документы и её собственный ответ вместе. Токен — кусок слова; слово обычно занимает один–три токена
128 тыс. токенов
Длина ответаСколько токенов модель может выдать за один ответ, вместе со скрытыми рассуждениями, если они есть
до 4 тыс. токенов
Цена входаСколько стоит миллион токенов, отправленных модели: вопрос, документы, вся история переписки
$2,50 за миллион токенов
Цена ответаСколько стоит миллион токенов, написанных моделью, — включая скрытые рассуждения
$10 за миллион токенов
Понимает
текст
Отвечает
текст
РассужденияПеред ответом модель рассуждает про себя: медленнее и дороже, зато точнее на трудных задачах
нет
Вызов инструментовМодель сама просит программу выполнить действие — поиск, запуск кода, запрос к сервису — и продолжает с результатом. На этом держатся агенты
да
ВесаОткрытые — файлы модели можно скачать и запустить на своих серверах. Закрытые — доступ только через сервис лаборатории
открытые
Знания до
июнь 2024
Идентификатор в API
command-r-plus-08-2024

Что это за модель

Command R+ 08-2024 — августовское обновление старшей модели линейки Command R от Cohere. Это языковая модель на 104 млрд параметров, построенная на трансформере. В ней применён механизм группового внимания (grouped query attention), который ускоряет выдачу ответа. Модель рассчитана на генерацию с поиском: ей передают фрагменты документов, она отвечает по ним и ставит ссылки на источники каждого утверждения.

По данным Cohere, при том же железе обновлённая версия даёт примерно на 50% больше пропускной способности и на 25% меньшую задержку, чем прежняя Command R+. Компания также заявляет, что модель стала точнее решать, когда вызывать инструменты, лучше следовать системным указаниям и разбирать таблицы и другие структурированные данные. Кроме того, она научилась отказываться отвечать, если в документах нет ответа. Младшая Command R того же обновления, по словам Cohere, дотягивает до уровня прежней Command R+.

Модель берут для корпоративного поиска по базам знаний, ответов на вопросы, пересказа документов и агентных сценариев. В таких сценариях она может вызывать несколько инструментов подряд и передавать результат одного вызова в следующий. Лучше всего она работает на десяти языках: английском, французском, испанском, итальянском, немецком, бразильском португальском, японском, корейском, упрощённом китайском и арабском. Русский входит ещё в 13 языков, которые были в данных для обучения, но отдельно их не оптимизировали.

Сейчас сама Cohere для большинства задач советует брать более новую Command A, а Command R+ оставляет для сложных процессов с поиском и многошаговых агентов. Веса модели открыты на Hugging Face, но по некоммерческой лицензии CC-BY-NC. Скачать их можно только после того, как примешь условия и правила допустимого использования Cohere Labs.

Источники: Анонс обновления линейки Command R, Документация Command R+, Карточка модели на Hugging Face

Того же уровня по индексу Epoch

Другие модели семейства

Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).