модель · Cohere · вышла 30 августа 2024
Command R
Устаревшая недорогая модель Cohere для ответов по документам со ссылками на источники, её сменила Command A
О модели
Command R 08-2024 — языковая модель Cohere на 32 млрд параметров с открытыми весами. Её обучали на 23 языках. Сама лаборатория проверяла качество на десяти, среди них английский, французский, испанский, японский и арабский. В архитектуре используется групповое внимание по запросам (grouped query attention): этот приём ускоряет генерацию ответа. После обучения модель дообучили на примерах и на предпочтениях людей, чтобы она отвечала полезнее и безопаснее.
Это августовское обновление Command R, первая версия которой вышла весной 2024 года. По данным Cohere, новая версия обрабатывает примерно на 50% больше запросов за то же время, отвечает на 20% быстрее и требует вдвое меньше оборудования. Лаборатория также улучшила выбор инструментов, следование инструкциям и анализ таблиц и других структурированных данных. Модель стала менее чувствительна к тому, как оформлен запрос. Появились режимы безопасности: разработчик выбирает, насколько строго модель ограничивает свои ответы в конкретном приложении.
Главное назначение модели — генерация с поиском. В этом режиме модели передают найденные документы, и она строит ответ на их основе, указывая, откуда взята каждая часть. Кроме того, она умеет вызывать внешние функции и API и выполнять цепочки из нескольких шагов как агент. Ещё она пересказывает тексты, отвечает на вопросы и объясняет или переписывает код. Её выбирают для корпоративных чат-ботов и поиска по внутренним базам знаний, когда важны низкая цена и работа с длинными документами.
Сейчас сама Cohere для большинства задач советует более новую Command A. Открытые веса распространяются по лицензии CC-BY-NC: скачать и запустить модель можно, но только для некоммерческого применения и с соблюдением правил допустимого использования Cohere. Коммерческий доступ есть только через API компании.
источники:Карточка модели на Hugging Face ↗Документация Cohere о Command R ↗
Рейтинг Epoch AIСводная оценка общих возможностей модели: статистическая модель выводит её из результатов на многих бенчмарках с учётом их сложностиПодробнее на английском ↗
весь рейтинг194место из 268индекс 119вероятный разброс 109–125
- DTBenchВопросы с выбором ответа по теории принятия решений в задачах вроде парадокса Ньюкома, где твой выбор говорит о выборе похожих на тебяСлучайный выбор даёт около 40%, так что это нижняя планка, а не ноль.Подробнее на английском ↗24,9%
- LMCAНасколько оценки моделью доводов в философии, теории решений и безопасности ИИ совпадают с оценками экспертовБалл — корреляция с оценками экспертов, умноженная на 100; практический потолок около 85, а не 100.Подробнее на английском ↗5,9%
- SimpleBenchВопросы с подвохом на здравый смысл: пространство, время, поведение людей. 213 вопросов, у каждого шесть вариантов ответаЛюди в проверке авторов набрали около 84%, а балл модели — средняя точность по пяти прогонам.Подробнее на английском ↗0,9%
- MMLUВопросы с четырьмя вариантами ответа из десятков областей: гуманитарные и естественные науки, социальные науки, профессиональные знанияТест почти насыщен: сильные модели набирают около 90% и выше, и разница между лидерами мала, а часть промахов приходится на ошибки в самом тесте.Подробнее на английском ↗59,2%
Данные: models.dev (MIT) и Epoch AI (CC BY 4.0).