Image JevBench
Бенчмарк Benchmark Heaven для моделей, которые принимают решения по изображениям. Модель получает изображение (скриншот приложения или сайта, документ, чек, диаграмму) и вопрос с фиксированным набором вариантов ответа и должна выдать вероятность каждого варианта. Оцениваются точность, калибровка уверенности, скорость и стоимость. Большая часть заданий закрыта, чтобы модели не могли их заучить. Это визуальный вариант текстового JevBench.
проверено по: benchmarkheaven.com ↗
В новостях
Inception научила модель Mercury Decide принимать решения по картинкам
Открытый тест команды Benchmark Heaven для моделей, которые по картинке и вопросам с заданными вариантами выбирают ответ и называют свою уверенность. Оценивает точность, честность оценки уверенности, скорость и цену; часть изображений держат закрытыми, чтобы модели не могли их заучить.