Jev

Что это за модель

Jev — первая модель стартапа TypeSafe и первая в линейке, которую компания называет System One. Это модели для быстрых решений, которые программа может сразу пустить в дело. Обычная языковая модель пишет ответ по одному токену. Jev же выдаёт все ответы за один параллельный проход. На вход она получает состояние программы, то есть любые данные в виде текста, и список вопросов. На выходе — значения заранее заданного типа с вероятностью для каждого варианта. Обучали её методом, который TypeSafe назвала обучением с подкреплением для откалиброванных решений (RLCD). Калибровка значит, что уверенность модели должна совпадать с тем, как часто она на деле оказывается права.

Вопросы бывают трёх видов: выбрать вариант из списка, оценить что-то по заданным критериям и сказать, насколько утверждение истинно, числом от 0 до 1. В одном запросе можно смешивать вопросы разных видов. Они считаются параллельно и независимо друг от друга, поэтому лишние вопросы почти не замедляют ответ. Модель не может выдать ничего вне заданных вариантов. Отсюда заявление компании, что галлюцинации и ошибки типа у Jev исключены самим устройством ответа.

Главное отличие от языковых моделей — скорость и цена. По замерам TypeSafe, Jev отвечает за 70–500 миллисекунд и работает в 40–200 раз быстрее передовых языковых моделей на сравнимых задачах, а за выходные токены плату не берут. Её берут для классификации и маршрутизации запросов, условной логики в автоматизированных процессах, приложений, где ответ нужен быстрее чем за 100 миллисекунд, разметки больших объёмов данных и проверки ответов других моделей.

Свободный текст Jev не пишет вовсе: от этого в TypeSafe отказались намеренно. В одном вопросе может быть не больше 255 вариантов, картинки модель пока не принимает. Компания советует задавать узкие вопросы по одному. Если задача требует долгих рассуждений, её лучше разбить на простые вопросы и собрать итог в коде. Сама TypeSafe оговаривает, что оценки качества проводила её же команда, а за образец брала усреднённые ответы моделей OpenAI и Anthropic.

Источники: Анонс Jev и моделей System One, Документация Jev