GPQA

Бенчмарк из нескольких сотен вопросов с выбором ответа по биологии, физике и химии уровня аспирантуры. Вопросы составили специалисты так, чтобы ответ нельзя было быстро найти поиском (англ. Google-proof): эксперты с профильной степенью отвечают на них заметно лучше, чем подготовленные неспециалисты с доступом к интернету. Самые надёжные и трудные вопросы выделены в отдельное подмножество GPQA Diamond.

проверено по: arxiv.org ↗