Image Arena
Image Arena — раздел платформы Arena для создания, редактирования и сравнения изображений с помощью моделей искусственного интеллекта. В режиме слепого сравнения пользователи оценивают результаты двух моделей по одному запросу, не зная их названий. На основе голосов формируются отдельные рейтинги моделей для генерации и редактирования изображений.
проверено по: help.arena.ai ↗
См. также
- ArenaОткрытая платформа для сравнения ИИ-моделей, прежде называвшаяся Chatbot Arena и LMArena. Пользователи вслепую сравнивают ответы двух анонимных моделей и голосуют за лучший, а по голосам строится публичный рейтинг. Этим она отличается от обычных бенчмарков с фиксированным набором задач.
- Image JevBenchБенчмарк Benchmark Heaven для моделей, которые принимают решения по изображениям. Модель получает изображение (скриншот приложения или сайта, документ, чек, диаграмму) и вопрос с фиксированным набором вариантов ответа и должна выдать вероятность каждого варианта. Оцениваются точность, калибровка уверенности, скорость и стоимость. Большая часть заданий закрыта, чтобы модели не могли их заучить. Это визуальный вариант текстового JevBench.
- HPSv2Автоматическая метрика качества изображений, созданных по текстовому запросу (Human Preference Score v2). Это модель CLIP, дообученная на большом наборе попарных выборов людей (Human Preference Dataset v2): она предсказывает, какое из изображений по одному запросу человек сочтёт лучшим. Используется для сравнения моделей генерации изображений; авторы построили на ней и бенчмарк. Следующая версия метрики — HPSv3.
- Рейтинг ЭлоМетод расчёта относительной силы участников по результатам их встреч один на один. Его придумал физик Арпад Эло для шахмат, потом метод перешёл в другие игры и виды спорта. Рейтинг растёт после побед и падает после поражений, причём сильнее всего меняется после неожиданного исхода. В оценке ИИ так ранжируют модели по попарным сравнениям их ответов, например на платформах вроде Arena.
В новостях
Генератор картинок Images 2.6 от OpenAI делает GIF и рисует быстрее
Рейтинг моделей, которые создают и редактируют изображения, на площадке Arena. Пользователи вслепую сравнивают картинки двух моделей по одному запросу и голосуют за лучшую, а из голосов складываются места в рейтинге.