LLM Arena
Открытая платформа для сравнения больших языковых моделей на русском языке. Пользователи задают вопрос двум моделям со скрытыми названиями и выбирают лучший ответ; на основе этих голосов формируется рейтинг.
проверено по: github.com ↗
См. также
- ArenaОткрытая платформа для сравнения ИИ-моделей, прежде называвшаяся Chatbot Arena и LMArena. Пользователи вслепую сравнивают ответы двух анонимных моделей и голосуют за лучший, а по голосам строится публичный рейтинг. Этим она отличается от обычных бенчмарков с фиксированным набором задач.
- Рейтинг ЭлоМетод расчёта относительной силы участников по результатам их встреч один на один. Его придумал физик Арпад Эло для шахмат, потом метод перешёл в другие игры и виды спорта. Рейтинг растёт после побед и падает после поражений, причём сильнее всего меняется после неожиданного исхода. В оценке ИИ так ранжируют модели по попарным сравнениям их ответов, например на платформах вроде Arena.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Бизнес в России тратит до 150 млн рублей в месяц на серый доступ к ИИ, пишут «Ведомости»
Российская платформа для сравнения языковых моделей: пользователь задаёт вопрос двум анонимным моделям и выбирает лучший ответ, из этих голосов складывается рейтинг.