SimpleQA

Бенчмарк OpenAI для проверки фактической точности языковых моделей: несколько тысяч коротких вопросов на факты, у каждого из которых единственный бесспорный и не меняющийся со временем ответ. Ответы оцениваются как верные, неверные или как отказ отвечать, поэтому бенчмарк показывает и точность модели, и то, как часто она выдумывает ответ вместо признания, что не знает.