Автоматический оценщик

Автоматический оценщик (autorater, LLM-as-a-judge) — программа, обычно сама языковая модель, которая по заданным критериям оценивает ответы другой модели вместо человека-эксперта. Применяется в бенчмарках и тестировании, потому что масштабируется дешевле ручной разметки; качество такой оценки принято проверять на согласованность с оценками людей.

проверено по: aman.ai ↗