Уиллисон попробовал Jev: дёшево и быстро, но это ещё более «чёрный ящик», чем чат-боты
Саймон Уиллисон разобрал Jev от TypeSafe — модель, которая вместо текста отвечает числами. Он хвалит её цену и скорость, но предупреждает, что её решения труднее объяснить и в них может прятаться предвзятость.
Jev от стартапа TypeSafe, по словам Саймона Уиллисона, стоит 0,042 доллара за миллион входных токенов. Это дешевле даже GPT-5 Nano от OpenAI, у которой 0,05 доллара. Ответы бесплатны: платить нужно только за то, что отправляешь модели. Уиллисон — разработчик и автор популярного блога о языковых моделях. Он несколько дней работал с Jev и описал, для чего она годится, а где с ней стоит быть осторожнее.
Jev принимает текст, но отвечает только числами. Пользователь отправляет описание статьи, клиента или любой другой записи, а к нему — пачку вопросов. Модель умеет оценить, насколько верно утверждение (от 0 до 1), выбрать вариант из списка и распределить вероятности по всем вариантам, а ещё поставить оценку по заданной шкале. Вопросы обрабатываются параллельно, поэтому сто вопросов идут почти так же быстро, как один. Сами авторы называют такие модели «моделями Системы 1», а Уиллисону ближе название «модели принятия решений».
Модель хорошо подходит для задач, которые сводятся к классификации: ловить спам, предлагать метки, расставлять приоритеты. Уиллисон проверил её на поиске: сначала простой алгоритм BM25 находит сотню похожих документов, а потом Jev оценивает, насколько каждый подходит к запросу.
Больше всего его беспокоит прозрачность. Обычную модель хотя бы можно попросить объяснить своё решение, пусть без гарантии честного ответа. Jev не даёт и этого: если она пометила письмо как спам, непонятно, что её насторожило. Уиллисон надеется, что никто не станет ранжировать с её помощью соискателей. Для наглядности он попросил Jev ответить, «хороший ли это город», для каждого города в районе залива Сан-Франциско. Первым оказался Купертино, последним — Ист-Пало-Альто. Выход он видит в систематических проверках: при такой цене тысяча тестовых запросов обходится в несколько центов.
Сообщество тем временем проверяет модель на прочность. Кайл Пена превратил Jev в (ужасный, по оценке Уиллисона) чат-бот, который на каждом шаге спрашивает модель, какой символ идёт следующим. Энди Гейтон научил её играть в головоломку 2048. Энтузиасты уже пытаются повторить Jev на открытых моделях: проект Kev дообучил Qwen 3.5 до размеров 0,8, 4 и 9 млрд параметров, а для сравнения таких моделей появился бенчмарк JevBench. И всё это меньше чем за неделю после выхода Jev.