Стартап TypeSafe выпустил Jev — модель, которая не пишет текст, а только принимает решения
Jev от TypeSafe умеет только классифицировать, выбирать маршрут и ставить оценки. По словам авторов, она в 20–200 раз быстрее и в 40–400 раз дешевле небольших передовых моделей, а за выходные токены плата не берётся.
Стартап TypeSafe представил Jev — модель, которая не умеет писать текст, программировать и рассуждать. Она делает одно: принимает решения. Jev относит запрос к нужной категории, выбирает, куда его направить, или ставит оценку. Авторы утверждают, что она в 20–200 раз быстрее небольших передовых языковых моделей и в 40–400 раз дешевле. Выходные токены бесплатны.
Анонс весь день держался на первом месте Hacker News и собрал миллионы просмотров. Latent Space сделала его главной темой выпуска, хотя в тот же день вышли Gemini 3.8 Live и модель Neon от Periodic Labs. Модель представил Диогу Алмейда (Diogo Almeida) из TypeSafe.
Обычная языковая модель пишет ответ по одному токену, поэтому даже простой выбор «да или нет» обходится в целую генерацию. Jev устроена иначе. Варианты ответа задаются заранее, а модель выбирает из них. Взамен разработчики обещают параллельную выборку, отсутствие галлюцинаций и калибровку: уверенность модели должна совпадать с тем, как часто она оказывается права. Обучали Jev методом, который в TypeSafe называют RLCD, — обучением с подкреплением на откалиброванных решениях.
Авторы видят в ней «Систему один» — быстрое интуитивное мышление в паре с медленными языковыми моделями, которые выполняют роль «Системы два». Инженеры в соцсетях сразу нашли ей применение. Jev может взять на себя работу, которую сейчас поручают большим моделям в роли классификатора, судьи или маршрутизатора запросов. Там генерация текста — лишние расходы.
Не обошлось без оговорок. Пользователь X под ником scaling01 заметил, что это не языковая модель общего назначения. По его мнению, она ближе к модели с ограниченным выводом или к диффузионной. Свободный текст она не выдаёт и без заранее заданного формата ответа не работает. Несколько инженеров сравнили подход с библиотекой DSPy. Они видят будущее, в котором дорогой вызов большой модели разбивают на множество мелких специализированных функций. Независимых замеров скорости и качества в материале пока нет.