SimpleBench

Бенчмарк для больших языковых моделей: вопросы с выбором ответа на пространственно-временные рассуждения, социальный интеллект и устойчивость к вопросам с подвохом. Задачи подобраны так, что люди без специальной подготовки (на уровне школьных знаний) решают их лучше передовых моделей. Большая часть вопросов закрыта, чтобы модели не могли выучить ответы при обучении.