North Mini Code

Что это за модель

North Mini Code — первая модель Cohere, сделанная специально для разработчиков, и первая в новой линейке North, куда войдут агенты для работы с кодом. Она устроена как смесь экспертов (mixture of experts): внутри 128 подсетей-«экспертов», и на каждый токен включаются только 8 из них. Всего у модели 30 млрд параметров, но в работе участвуют около 3 млрд. Поэтому она отвечает быстро и помещается на локальное железо.

От других моделей Cohere — линейки Command A для чата, перевода и работы с изображениями — её отличает узкая специализация. Обучали её в два этапа на примерах, 70% которых — код, а затем дообучили с подкреплением на задачах, где результат можно проверить автоматически. Таких задач было больше 70 тысяч из примерно 5 тысяч репозиториев. Модель тренировали сразу в нескольких средах запуска агентов — SWE-Agent, mini-SWE-Agent, OpenCode и Terminus 2, — чтобы она не зависела от одной из них.

Её берут для агентного программирования: внести изменения в целый репозиторий, выполнить цепочку команд в терминале, объяснить или поправить код, написать научный или алгоритмический код. Cohere также называет разбор архитектуры системы, проверку кода и управление подчинёнными агентами. По замерам лаборатории, в индексе программирования Artificial Analysis модель набирает 33,4 балла и обходит более крупные открытые модели Nemotron 3 Super (120 млрд параметров) и Devstral 2 (123 млрд). Люди-оценщики сильнее всего отметили её в правке кода: она выиграла 66,1% сравнений.

Это небольшая модель под одну задачу. Для общего чата, перевода или работы с картинками у Cohere есть другие модели. Веса открыты под лицензией Apache 2.0, она разрешает коммерческое использование и изменение модели. Кроме своих серверов, модель доступна через API Cohere и в сервисе Model Vault.

Источники: Анонс North Mini Code в блоге Cohere Labs, Документация модели