JevBench
Независимый открытый бенчмарк для сравнения моделей класса Jev: такая модель получает описание ситуации и критерии, а в ответ выбирает вариант из заданного набора с вероятностями, без текста на естественном языке. Модели оцениваются по точности, калибровке вероятностей, скорости и стоимости решения. Бенчмарк сделал энтузиаст в рамках проекта Benchmark Heaven, с компанией TypeSafe AI он не связан.
проверено по: github.com ↗
См. также
- JevМодель стартапа TypeSafe AI, которую компания относит к новому классу «моделей системы один» (System One). Она не пишет текст, а за доли секунды выдаёт типизированные решения с оценкой вероятности, например классифицирует запрос или решает, куда его направить. Такая модель рассчитана на встраивание в программы и агентные системы и стоит намного дешевле больших языковых моделей.
- TypeSafe AIАмериканская ИИ-лаборатория из Сан-Франциско. Она разрабатывает «модели Системы 1» (System One models), или модели принятия решений. Такая модель принимает на вход текст и вопросы к нему, а возвращает числа: вероятности, распределения по вариантам ответа или оценки по шкале. Эти числа программа использует напрямую, без разбора сгенерированного текста.
- Image JevBenchБенчмарк Benchmark Heaven для моделей, которые принимают решения по изображениям. Модель получает изображение (скриншот приложения или сайта, документ, чек, диаграмму) и вопрос с фиксированным набором вариантов ответа и должна выдать вероятность каждого варианта. Оцениваются точность, калибровка уверенности, скорость и стоимость. Большая часть заданий закрыта, чтобы модели не могли их заучить. Это визуальный вариант текстового JevBench.
- ImajevСемейство открытых моделей Мохита Гарга для принятия решений по изображениям, совместимых по формату с Jev. Модель получает один-два снимка, текстовое описание ситуации и вопросы с заданными вариантами ответа. Вместо текста она возвращает вероятность каждого варианта и может отказаться отвечать, если не уверена. Модели получены дообучением Qwen3.5 и распространяются под лицензией Apache 2.0.
- КалибровкаСвойство модели, при котором заявленная ею уверенность совпадает с реальной долей правильных ответов: если откалиброванная модель уверена на 80%, она права примерно в 80% таких случаев. Современные нейросети часто оказываются самоуверенными, поэтому их калибруют отдельно. Особенно это важно там, где решения модели выполняются автоматически, без проверки человеком.
В новостях
Inception выпустила Mercury Decide — соперницу модели Jev с тем же API
Открытый бенчмарк для моделей, которые вместо текста возвращают выбор, оценку или ответ «да/нет» с вероятностью. Сводит в один балл точность решений, калибровку уверенности, скорость и цену; с TypeSafe не связан.