Модель · Cohere
Command R
Устаревшая недорогая модель Cohere для ответов по документам со ссылками на источники, её сменила Command A
вышла 30 августа 2024
Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиШкала условная (Claude 3.5 Sonnet = 130, GPT-5 = 150); интервал — 90-процентный диапазон оценки, и модели с перекрывающимися интервалами надёжно не различаются.Подробнее на английском ↗
192 место из 266
индекс 119, вероятный разброс 111–125 · весь рейтинг →
| Бенчмарк | РезультатОбычно — доля заданий теста, которые модель решила. У некоторых тестов свой счёт; как он устроен, сказано в пояснении к названию теста | УсилиеНасколько долго модель рассуждала перед ответом, когда её проверяли: низкое, среднее, высокое, очень высокое, максимальное. Чем выше усилие, тем обычно выше результат — и тем дольше и дороже ответ. Показан лучший результат и усилие, на котором он получен |
|---|---|---|
| DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗ | 24,9% | |
| LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗ | 5,9% | |
| SimpleBenchВопросы с подвохом на здравый смысл: пространство, время, поведение людей. 213 вопросов, у каждого шесть вариантов ответаЛюди в проверке авторов набрали около 84%, а балл модели — средняя точность по пяти прогонам.Подробнее на английском ↗ | 0,9% | |
| MMLUВопросы с четырьмя вариантами ответа из десятков областей: гуманитарные и естественные науки, социальные науки, профессиональные знанияТест почти насыщен: сильные модели набирают около 90% и выше, и разница между лидерами мала, а часть промахов приходится на ошибки в самом тесте.Подробнее на английском ↗ | 59,2% |
Характеристики
- Вышла
- 30 августа 2024
- КонтекстСколько текста модель учитывает за один запрос: вопрос, приложенные документы и её собственный ответ вместе. Токен — кусок слова; слово обычно занимает один–три токена
- 128 тыс. токенов
- Длина ответаСколько токенов модель может выдать за один ответ, вместе со скрытыми рассуждениями, если они есть
- до 4 тыс. токенов
- Цена входаСколько стоит миллион токенов, отправленных модели: вопрос, документы, вся история переписки
- $0,15 за миллион токенов
- Цена ответаСколько стоит миллион токенов, написанных моделью, — включая скрытые рассуждения
- $0,60 за миллион токенов
- Понимает
- текст
- Отвечает
- текст
- РассужденияПеред ответом модель рассуждает про себя: медленнее и дороже, зато точнее на трудных задачах
- нет
- Вызов инструментовМодель сама просит программу выполнить действие — поиск, запуск кода, запрос к сервису — и продолжает с результатом. На этом держатся агенты
- да
- ВесаОткрытые — файлы модели можно скачать и запустить на своих серверах. Закрытые — доступ только через сервис лаборатории
- открытые
- Знания до
- июнь 2024
- Идентификатор в API
- command-r-08-2024
Что это за модель
Command R 08-2024 — языковая модель Cohere на 32 млрд параметров с открытыми весами. Её обучали на 23 языках. Сама лаборатория проверяла качество на десяти, среди них английский, французский, испанский, японский и арабский. В архитектуре используется групповое внимание по запросам (grouped query attention): этот приём ускоряет генерацию ответа. После обучения модель дообучили на примерах и на предпочтениях людей, чтобы она отвечала полезнее и безопаснее.
Это августовское обновление Command R, первая версия которой вышла весной 2024 года. По данным Cohere, новая версия обрабатывает примерно на 50% больше запросов за то же время, отвечает на 20% быстрее и требует вдвое меньше оборудования. Лаборатория также улучшила выбор инструментов, следование инструкциям и анализ таблиц и других структурированных данных. Модель стала менее чувствительна к тому, как оформлен запрос. Появились режимы безопасности: разработчик выбирает, насколько строго модель ограничивает свои ответы в конкретном приложении.
Главное назначение модели — генерация с поиском. В этом режиме модели передают найденные документы, и она строит ответ на их основе, указывая, откуда взята каждая часть. Кроме того, она умеет вызывать внешние функции и API и выполнять цепочки из нескольких шагов как агент. Ещё она пересказывает тексты, отвечает на вопросы и объясняет или переписывает код. Её выбирают для корпоративных чат-ботов и поиска по внутренним базам знаний, когда важны низкая цена и работа с длинными документами.
Сейчас сама Cohere для большинства задач советует более новую Command A. Открытые веса распространяются по лицензии CC-BY-NC: скачать и запустить модель можно, но только для некоммерческого применения и с соблюдением правил допустимого использования Cohere. Коммерческий доступ есть только через API компании.
Источники: Карточка модели на Hugging Face, Документация Cohere о Command R
Того же уровня по индексу Epoch
-
Mistral Nemo
Mistral194-е место в Epochконтекст 128 тыс.$0,15 / $0,15открытые весадешевле в 4 раза
-
Qwen2.5 7B Instruct
Qwen196-е место в Epochконтекст 131 тыс.$0,175 / $0,70открытые весадороже
Другие модели семейства
-
Command R7B Arabic
Cohereконтекст 128 тыс.$0,037 / $0,15открытые веса
-
Command R7B
-
Command R+
Новости о модели
- 01
Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).