Cloudflare выпустила открытые модели-классификаторы Clef для ИИ-агентов

Cloudflare выпустила Clef и Clef-flash — модели, которые не пишут текст, а выбирают ответ из заданных вариантов и называют вероятность каждого. Это первые модели, которые обучила команда облачного сервиса Cloudflare Workers AI¹, где они и работают; веса выложены на Hugging Face под лицензией Apache 2.0².

Почему это важно: в сентябре платная Jev стартапа TypeSafe открыла нишу моделей, которые выбирают ответ, а не пишут текст. Теперь в этой нише есть модели крупной сетевой компании: у них открытые веса, они совместимы с Jev и, в отличие от неё, понимают картинки.

Как это работает: модель получает данные и вопросы с вариантами ответа, а возвращает вероятность каждого варианта: например, с вероятностью 95% относит сайт к моде, а к фишингу — меньше чем с 1%. Обе модели построены на моделях Qwen от Alibaba и не пишут ответ слово за словом, а оценивают все допустимые варианты сразу, поэтому отвечают быстро.

Детали: по словам Cloudflare, от Jev модели отличаются так:

• Clef принимает картинки, до четырёх в одном запросе, а Jev пока работает только с текстом.
• Контекстное окно³ у Clef — 64 тыс. токенов, вдвое больше, чем у Jev.
• API у Clef такой же, как у Jev, поэтому перейти с одной модели на другую можно без переделки кода.
• На наборе тестов самой TypeSafe Clef обошла Jev в трёх областях из четырёх и уступила только в разборе действий агентов, а Clef-flash обошла Jev лишь в одной.

В цифрах: замеры Cloudflare:

• В 43 тестах медианное время ответа у Clef — 209 мс, у Jev — 524 мс.
• Clef-flash отвечает за 39 мс; быстрее только открытая Laya, но в тестах на качество она сильно отстаёт.
• На проверку сайта для команды анализа угроз Clef тратит 2,2 секунды, а языковая модель gpt-oss-120b — 4,7 секунды и называет лишь две категории.
• Миллион входных токенов Clef стоит 0,24 доллара.

Между строк: по словам Cloudflare, интерес к Jev показал, что нужны маленькие быстрые классификаторы, и компания выбрала эту нишу, чтобы начать опыты с обучением с подкреплением⁴. Внутри Cloudflare Clef хотят дообучить на сетевых данных, накопленных за 15 с лишним лет, — чтобы сортировать обращения в поддержку и отличать полезных ботов от вредных.

Что говорят: разработчик и автор учебников по веб-программированию Флавио Копес (Flavio Copes) испытал обе модели в день выхода. Сравнивая их с Jev, он пишет: «Если считать по входным токенам, Clef стоит примерно в 5,7 раза дороже, а Clef-flash — примерно в 2,1 раза». И о картинках: «Каждый запрос с картинкой, который я отправил 1 октября, занимал от 13 до 30 секунд — у обеих моделей».

Но: все сравнения — замеры самой Cloudflare. Компания отобрала тесты из Jev Decision Index, набора проверок для моделей выбора ответа, сама прогнала по ним популярные модели, и Clef оказалась первой. По сводке Копеса, в тестах на рассуждение Jev по-прежнему впереди: в GPQA Diamond, наборе сложных научных вопросов, у неё 78,3 балла, у Clef — 48.

Что дальше: Cloudflare запускает сервис дообучения Clef на данных клиента. Сначала модель под задачу настраивают инженеры компании вместе с клиентом, позже появится платформа, где клиенты сами соберут данные, дообучат модель и развернут её в Workers AI; сроков компания не назвала.

Jev вышла в сентябре. Через несколько дней тренды Hugging Face возглавила открытая Laya, а Inception 30 сентября показала Mercury Decide с тем же API, что у Jev.