Стартап TypeSafe выпустил модель Jev, которая принимает решения без текста
По заявлению TypeSafe, Jev работает в 20–200 раз быстрее и обходится в 40–400 раз дешевле языковых моделей. За выходные токены платить не нужно.
Модель Jev от стартапа TypeSafe отвечает не текстом, а готовым решением в заранее заданном формате. Она классифицирует, выбирает, куда направить запрос, или ставит оценку и сразу сообщает, насколько уверена в ответе. Об этом пишет рассылка AINews издания Latent Space. По её данным, анонс весь день продержался на первом месте Hacker News1 и собрал миллионы просмотров.
TypeSafe AI основали в 2024 году Диогу Алмейда (Diogo Almeida), Эрик Гафни и Саша Шенг. Алмейда возглавляет компанию. До этого он около четырёх лет проработал в OpenAI над обучением моделей на отзывах людей, InstructGPT, ChatGPT и GPT-4.
Разработчики называют Jev моделью «системы один», то есть быстрого интуитивного мышления. Она должна дополнять медленные языковые модели «системы два», а не заменять их. Обучали её методом RLCD — обучением с подкреплением на калиброванных решениях. Калибровка означает, что уверенность модели совпадает с тем, как часто она права: из ответов с уверенностью 90% верными должны оказываться примерно девять из десяти.
Отказ от чата и свободного текста, по словам авторов, даёт три вещи: можно запускать много вариантов ответа параллельно, модель не выдумывает факты и точно оценивает свою уверенность. TypeSafe заявляет, что Jev в 20–200 раз быстрее и в 40–400 раз дешевле, чем небольшие передовые языковые модели.
Комментаторы в соцсети X сходятся в том, что модель подходит на роль классификатора, судьи или маршрутизатора в рабочих системах. Сейчас такую работу часто поручают обычным языковым моделям, хотя генерировать для неё текст слово за словом не нужно. Некоторые предупреждают, что Jev — не языковая модель общего назначения: свободный текст она не пишет, а формат ответа нужно задать заранее. Несколько инженеров связали подход с DSPy2 и предположили, что дорогие вызовы больших моделей со временем разложат на множество мелких специализированных функций.
Ранее, в августе, Latent Space уже видела Jev до официального запуска на конференции AI Engineer.