GPQA Diamond

Самая строгая часть бенчмарка GPQA (Graduate-Level Google-Proof Q&A): трудные вопросы уровня аспирантуры по биологии, физике и химии с вариантами ответа, составленные и проверенные специалистами с научными степенями. В неё отобраны только вопросы, на которые эксперты ответили верно, а большинство неспециалистов ошиблись даже после долгого поиска в интернете. Используется, чтобы сравнивать, насколько хорошо языковые модели рассуждают в естественных науках.

проверено по: arxiv.org ↗