Cohere советует компаниям не звать большую модель туда, где справится малая

Cohere считает, что компаниям не нужна самая большая модель для каждой задачи. Разумнее собрать набор моделей разного размера и отдавать узкую работу малым: перевод, пересказ текста, помощь программисту. Так компания объясняет свой подход в новой колонке для корпоративных клиентов.

Малой Cohere называет модель от сотен миллионов до нескольких миллиардов параметров, но жёсткой границы не проводит — примерно до 30 млрд. Пример из её собственной линейки — North Mini Code, модель для программирования. Всего в ней 30 млрд параметров, но на каждом шаге работают только 3 млрд. Поэтому она запускается прямо на MacBook, без платных обращений к API. В рейтинге программирования Artificial Analysis модель набрала 33,4 балла. По данным Cohere, это больше, чем у Qwen3.5, Gemma 4, Nemotron 3 Super и Devstral 2, хотя некоторые из них крупнее в разы.

Второй пример — Tiny Aya на 3,35 млрд параметров, её обучали на 70 языках. На тесте переводов WMT24++ её версия Tiny Aya Global переводит лучше Gemma3-4B в 46 языках из 55.

Главный довод компании — деньги. Если отправлять каждую задачу в большую модель через API, счёт быстро растёт. Малую модель можно запустить на обычной видеокарте или даже процессоре, а дообучить её дешевле и быстрее. Для отраслей, где данные нельзя выпускать из страны или из компании, важно и то, что модель работает на своём оборудовании. Cohere оговаривается, что дообучение разрешают не все лицензии. Кроме того, после настройки малая модель всё равно может не справиться со сложной задачей.

Отдельную трудность компания видит в людях: сотрудники привыкли к большим чат-ботам как обычные пользователи, и их придётся учить выбирать модель под задачу. Следить за расходом токенов Cohere предлагает через свою платформу North. Колонка, по сути, рекламирует её продукты, и все сравнения в ней — результаты моделей самой Cohere.