Arena
Открытая платформа для сравнения ИИ-моделей, прежде называвшаяся Chatbot Arena и LMArena. Пользователи вслепую сравнивают ответы двух анонимных моделей и голосуют за лучший, а по голосам строится публичный рейтинг. Этим она отличается от обычных бенчмарков с фиксированным набором задач.
проверено по: arena.ai ↗
См. также
- Voice ArenaПлатформа краудсорсингового сбора речевых данных, которая привлекает дикторов из сообществ, редко попадающих в речевые корпуса, включая сельские и малые города. В рамках её инициативы Monsoon создаются оценочные наборы для языков глобального Юга.
- Рейтинг ЭлоМетод расчёта относительной силы участников по результатам их встреч один на один. Его придумал физик Арпад Эло для шахмат, потом метод перешёл в другие игры и виды спорта. Рейтинг растёт после побед и падает после поражений, причём сильнее всего меняется после неожиданного исхода. В оценке ИИ так ранжируют модели по попарным сравнениям их ответов, например на платформах вроде Arena.
- Code Arena WebDevРейтинг моделей на платформе Arena (бывшая LMArena) в разделе Code Arena. Он показывает, насколько хорошо модели создают веб-приложения. Две анонимные модели выполняют одно задание пользователя в агентном режиме: планируют работу, создают файлы и дорабатывают код. Пользователь голосует за лучший результат, и по голосам считается рейтинг по системе типа Эло. Рейтинг разделён на категории HTML (одностраничные HTML/CSS/JS) и React (многофайловые приложения). Он сменил прежний рейтинг WebDev Arena, но работает по новой методике, и старые результаты в него не перенесены.
В новостях
Модель Kimi K3.1 Pro обошла Claude Fable 5.1 в независимом рейтинге
Площадка, где люди вслепую сравнивают ответы двух моделей и голосуют за лучший. По голосам строятся рейтинги, в том числе отдельный рейтинг по веб-разработке.
Сторонние тесты разошлись в оценке надёжности Gemini 4 Argon
Платформа для сравнения моделей ИИ: пользователи вслепую оценивают ответы двух моделей, и по их голосам строятся рейтинги по разным видам задач.
Alibaba выпустила ускоренную модель для картинок Qwen-Image-2.1-Turbo
Платформа, где пользователи вслепую сравнивают ответы двух моделей и голосуют за лучший; по этим голосам строятся рейтинги моделей.
В симуляции Стэнфорда скрытые задачи тестов не всегда сблизили баллы ИИ-моделей с их пользой
Площадка, где пользователи сравнивают ответы двух анонимных моделей, а по их голосам строится рейтинг; позже переименована в LMArena, затем в Arena.
Qwen-Image-2.1 возглавила открытые модели для картинок в рейтингах Arena
Платформа, где пользователи вслепую сравнивают ответы двух моделей и голосуют за лучший, а по этим голосам строятся рейтинги. Прежнее название — LMArena.
С GPT-6 Astra траты инженеров Databricks на ИИ выросли на 60%
Площадка для сравнения ИИ-моделей: пользователи вслепую выбирают лучший из двух ответов, и по их голосам составляются рейтинги.