Рейтинг Эло
Метод расчёта относительной силы участников по результатам их встреч один на один. Его придумал физик Арпад Эло для шахмат, потом метод перешёл в другие игры и виды спорта. Рейтинг растёт после побед и падает после поражений, причём сильнее всего меняется после неожиданного исхода. В оценке ИИ так ранжируют модели по попарным сравнениям их ответов, например на платформах вроде Arena.
проверено по: ru.wikipedia.org ↗
См. также
- ArenaОткрытая платформа для сравнения ИИ-моделей, прежде называвшаяся Chatbot Arena и LMArena. Пользователи вслепую сравнивают ответы двух анонимных моделей и голосуют за лучший, а по голосам строится публичный рейтинг. Этим она отличается от обычных бенчмарков с фиксированным набором задач.
- TrueSkillБайесовская система рейтинга, созданная в Microsoft Research для ранжирования и подбора соперников в Xbox Live. В отличие от рейтинга Эло, она хранит для каждого участника не только оценку силы, но и меру неопределённости, а также учитывает ничьи, командные матчи и игры с многими участниками. Её применяют и вне игр — для рейтингов по парным сравнениям.
- Voice ArenaПлатформа краудсорсингового сбора речевых данных, которая привлекает дикторов из сообществ, редко попадающих в речевые корпуса, включая сельские и малые города. В рамках её инициативы Monsoon создаются оценочные наборы для языков глобального Юга.
В новостях
Microsoft выпустила модель MAI-Image-2.7-Preview для правки изображений
Способ ранжировать участников по итогам попарных сравнений, пришедший из шахмат: победа над сильным соперником приносит больше очков, чем победа над слабым.
MolmoAct 2 от Ai2 возглавила рейтинг моделей для роботов по голосам людей
Система рейтингов, пришедшая из шахмат: по итогам попарных сравнений каждому участнику присваивают число, и разница чисел показывает, насколько вероятна победа одного над другим.
ИИ-агент готовит таблицы для модели Google TabFM и снижает её ошибки
Способ ранжирования по итогам парных сравнений, пришедший из шахмат: чем чаще участник побеждает сильных соперников, тем выше его число. В ИИ так сравнивают модели и методы.
NVIDIA выпустила открытую модель Kumo Tabular для прогнозов по таблицам
Система рейтингов из шахмат: баллы участника растут за победы, и тем сильнее, чем сильнее соперник. В ИИ по ней ранжируют модели по попарным сравнениям.
Grok 4.7 уступила только моделям Anthropic в тесте на офисную работу
Система рейтинга, пришедшая из шахмат: баллы начисляют по итогам попарных сравнений, и разница в баллах показывает, насколько чаще один участник выигрывает у другого. В бенчмарках ИИ так сравнивают ответы моделей.