Command A Reasoning

Что это за модель

Command A Reasoning — первая модель Cohere, которая рассуждает перед ответом: сначала пишет скрытую цепочку шагов, потом выдаёт итог. В ней 111 млрд параметров. Архитектура — трансформер, где три слоя из четырёх смотрят только на соседние 4096 токенов (так называемое скользящее окно внимания), а каждый четвёртый охватывает весь контекст. Такая схема экономит память на длинных документах.

От обычной Command A она отличается режимом рассуждений, которым можно управлять. Его включают и выключают одним параметром запроса. Можно задать и бюджет на размышления — сколько токенов модель потратит на обдумывание. Когда бюджет кончается, она сразу переходит к ответу. Так одна и та же модель обслуживает и быстрые простые запросы, и сложные задачи, где важна точность. Cohere рекомендует оставлять на сам ответ не меньше 1 тыс. токенов.

Модель берут для агентных сценариев, где она сама решает задачу по шагам и обращается к внешним инструментам: поиску, API, базам данных. Инструменты описываются JSON-схемой. Ответ можно снабдить ссылками на конкретные результаты инструментов, чтобы было видно, откуда взят факт. Модель работает на 23 языках, среди них английский, французский, испанский, японский, арабский и китайский.

Веса открыты под лицензией CC-BY-NC. Она разрешает только некоммерческое использование, а для коммерческого нужно согласие Cohere и соблюдение её правил допустимого использования. Модель тяжёлая: для рабочей среды Cohere советует четыре видеокарты H100, для тестов подойдут четыре A100. Сама компания предупреждает, что с включёнными рассуждениями модель отвечает медленнее.

Источники: Карточка модели на Hugging Face, Документация Cohere о модели, Руководство Cohere по режиму рассуждений