Cloudflare выпустила Clef-omni — открытый классификатор для звука и видео

Cloudflare выпустила Clef-omni — открытую модель, которая выбирает ответ из заданных вариантов по тексту, картинкам, звуку и видео, — и больше чем вдвое снизила цену младшей модели Clef-flash.

Почему это важно: модели для принятия решений, к которым относится Clef-omni, с выхода Jev стартапа TypeSafe работали в основном с текстом. Запись звонка или ролик приходилось сначала расшифровывать отдельной моделью, а Clef-omni разбирает их сама, за один запрос.

Предыстория: моделей для принятия решений пока немного. В середине сентября вышла Jev стартапа TypeSafe, 1 октября появились совместимые с ней по API Clef и Clef-flash от Cloudflare, а через четыре дня Clef возглавила тренды Hugging Face.

Как это работает: такие модели не пишут текст, а получают данные и вопросы с вариантами ответа и называют вероятность каждого варианта. Clef-omni собрана на Qwen3-Omni-30B-A3B — открытой модели Alibaba, которая сама понимает текст, изображения, звук и видео. Clef-omni не нужно говорить, поэтому Cloudflare убрала из исходной модели часть, которая синтезирует речь. Модель за один проход читает весь запрос и сразу оценивает все допустимые варианты. По замерам компании, медианное время ответа на текстовый запрос — около 130 миллисекунд, а 21-секундный ролик со звуком она обрабатывает примерно за 1,5 секунды.

В цифрах: Cloudflare берёт плату только за входные токены, цены указаны за миллион:

• Clef-flash стоит 0,038 доллара вместо прежних 0,09 — дешевле Jev, за которую TypeSafe берёт 0,042 доллара.
• Clef-omni стоит 0,15 доллара, а минута звука, по документации компании, считается примерно за 780 токенов¹.
• Цена Clef не изменилась и составляет 0,24 доллара.

Но: чтобы снизить цену, Cloudflare урезала контекстное окно² Clef-flash в своём облаке с 64 тысяч токенов до 24 тысяч. По данным компании, длиннее бывают лишь 0,24% запросов, а тем, кому нужно больше, она советует перейти на Clef. Опубликованные веса Clef-flash не менялись и рассчитаны на 256 тысяч токенов, если разворачивать модель у себя.

Детали: основную Clef компания ускорила без новых весов, по её замерам — до двух раз. Сервис перевели на открытый движок SGLang: на нём модели работают на серверах и отвечают на запросы. Поддержку Clef в него добавили сами инженеры Cloudflare, она войдёт в версию 0.5.22.

Расклад: внутри Cloudflare модели Clef уже используют несколько команд:

• В открытом репозитории документации на GitHub модель находит и закрывает спамерские обращения.
• Система управления сайтами EmDash, которую делает Cloudflare, проверяет с помощью Clef библиотеки плагинов на фишинг.
• Команда защиты от утечек ищет в данных персональные сведения, например номера государственных удостоверений.
• Специалисты по анализу угроз с помощью Clef выявляют вредоносные домены.

Интрига: первую Clef Cloudflare сделала меньше чем за неделю. Заняться такой моделью решили в пятницу вечером, обучили её за выходные и выпустили в четверг.

Веса Clef-omni выложены на Hugging Face под лицензией Apache 2.0. По карточке модели, для запуска нужно около 64 ГБ видеопамяти: авторы проверяли её на одном ускорителе NVIDIA H200.