Словарь
Автоматический оценщик
Автоматический оценщик (autorater, LLM-as-a-judge) — программа, обычно сама языковая модель, которая по заданным критериям оценивает ответы другой модели вместо человека-эксперта. Применяется в бенчмарках и тестировании, потому что масштабируется дешевле ручной разметки; качество такой оценки принято проверять на согласованность с оценками людей.