Саймон Уиллисон испытал модель Jev и предупредил о риске предвзятости

Разработчик Саймон Уиллисон испытал Jev — модель стартапа TypeSafe AI¹, которая отвечает числами вместо текста. Он нашёл её удобной для сортировки, но ещё менее прозрачной, чем чат-боты.

Почему это важно: Jev дешевле даже бюджетных языковых моделей, поэтому её легко поставить сортировать что угодно. Но объяснить свою оценку она не может.

Как это работает: Модель получает «состояние» — текст или набор полей о статье, клиенте, любой другой записи — и сразу много вопросов к нему. Модель разбирает их параллельно, поэтому ответ на все приходит почти так же быстро, как на один. Вопросы бывают трёх видов:

• Да или нет: Jev возвращает число от 0 до 1 — насколько она уверена, что утверждение верно.
• Выбор: модель берёт один из заданных вариантов и заодно раскладывает вероятности по всем вариантам.
• Оценка: пользователь задаёт шкалу и описывает её уровни, а модель ставит дробный балл где-то на этой шкале.

Детали: Уиллисон считает, что Jev подходит для любой задачи, которая сводится к классификации: поиска спама, подбора меток, расстановки приоритетов. Сам он пробовал её в поиске: простой алгоритм BM25² находит сто вероятных совпадений, а Jev оценивает, насколько каждое подходит к запросу.

В цифрах:

• Jev берёт деньги только за входной текст — 0,042 доллара за миллион токенов³, а ответы бесплатны.
• Обычные языковые модели берут плату и за ответ, причём, как правило, заметно более высокую, чем за вход.
• Даже бюджетная GPT-5 Nano от OpenAI стоит 0,05 доллара за миллион входных токенов.

Но: Уиллисону от этого «немного не по себе»: чат-бота можно хотя бы попросить объяснить решение, а Jev выдаёт одно число. Если она пометила письмо как спам, узнать, что её насторожило, нельзя. «Очень надеюсь, что никто не станет ранжировать с помощью Jev соискателей: за этим дробным числом может скрываться любая невидимая предвзятость», — пишет он.

Интрига: Уиллисон попросил Jev ответить «да» или «нет» на вопрос «Хороший город?» для каждого города в районе залива Сан-Франциско. Выше всех модель оценила Купертино, где находится штаб-квартира Apple, ниже всех — небогатый Ист-Пало-Альто. По мнению Уиллисона, такую модель поэтому нужно ещё тщательнее проверять на тестовых запросах, чем обычную. Благо через Jev сотни и даже тысячи таких запросов обходятся в несколько центов.

Расклад: Меньше чем за неделю после выхода Jev вокруг неё появилось множество проектов:

• Разработчики превратили Jev в чат-бота, который на каждом шаге выбирает следующий символ, и научили её играть в головоломку 2048.
• Проект Kev повторил идею на основе открытой Qwen 3.5 и выпустил модели на 0,8, 4 и 9 млрд параметров, а для сравнения таких моделей уже появился бенчмарк JevBench.
• 21 сентября глава Hugging Face Клеман Деланг сообщил, что тренды площадки возглавила открытая модель того же типа.

Что говорят: В обсуждении Kev на Hacker News⁴ звучат и сомнения:

• Один из пользователей советует для простой классификации попросить Codex или Claude собрать обычный классификатор: «На письмах я получаю так точность 95%, и для обучения нужно всего 50–100 примеров».
• Другой пользователь беспокоится о данных: «Всё, что вы отправляете в систему, они сохраняют. Команде Jev нужно выпустить продукт без хранения данных, иначе платформа обречена с самого начала».

Подробнее: Стартап TypeSafe выпустил модель Jev, которая принимает решения без текста