Модель-судья
Языковая модель, которая оценивает ответы или работу других моделей вместо людей (LLM-as-a-judge). Этот способ дешевле и лучше масштабируется, чем оценка людьми, но у судьи бывают систематические перекосы: например, он может предпочитать более длинные ответы или ответы моделей своего семейства. Поэтому его оценки выборочно сверяют с оценками людей.
проверено по: arxiv.org ↗
См. также
- Автоматический оценщикАвтоматический оценщик (autorater, LLM-as-a-judge) — программа, обычно сама языковая модель, которая по заданным критериям оценивает ответы другой модели вместо человека-эксперта. Применяется в бенчмарках и тестировании, потому что масштабируется дешевле ручной разметки; качество такой оценки принято проверять на согласованность с оценками людей.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Ai2 показал, что вердикт ИИ о новизне научной идеи зависит от слов запроса
Языковая модель, которой поручают оценивать ответы, тексты или идеи других моделей или людей вместо экспертов-людей.
Яндекс и Школа анализа данных выложили тест, где нейросети играют в «Поле чудес» и Wordle
Языковая модель, которая оценивает ответы других моделей вместо человека или алгоритма. Её оценки могут быть предвзятыми, поэтому их сверяют с оценками людей.
Sakana AI выложила QD-Rec — метод рекомендаций с доводами за каждый выбор
Языковая модель, которая вместо человека оценивает ответы других моделей по заданным критериям. Удобна для больших объёмов, но может ошибаться и поддаваться уловкам.
ИИ-агенты теряют точность в многочасовых задачах по биоинформатике
Языковая модель, которую используют для оценки или разметки ответов других моделей вместо людей.
Исследователь предложил проверять заявления о самоулучшении ИИ-агентов
Языковая модель, которая вместо человека оценивает или сравнивает ответы других моделей.
Grok 4.7 возглавила юридический тест Harvey с проверкой на галлюцинации
Языковая модель, которая оценивает ответы других моделей по заданным критериям вместо человека-эксперта.
Cohere предложила оценивать качество поиска с помощью модели-судьи
Языковая модель, которая по заданным критериям оценивает ответы или результаты других систем вместо людей-проверяющих.
Модели ИИ сильнее людей предпочитают тексты с подписью «человек»
Языковая модель, которой поручают оценивать или сравнивать тексты, ответы и код вместо людей. На таких оценках часто строят автоматические тесты и рейтинги моделей.