SimpleBench
Бенчмарк для больших языковых моделей: вопросы с выбором ответа на пространственно-временные рассуждения, социальный интеллект и устойчивость к вопросам с подвохом. Задачи подобраны так, что люди без специальной подготовки (на уровне школьных знаний) решают их лучше передовых моделей. Большая часть вопросов закрыта, чтобы модели не могли выучить ответы при обучении.
проверено по: simple-bench.com ↗
См. также
- SimpleQAБенчмарк OpenAI для проверки фактической точности языковых моделей: несколько тысяч коротких вопросов на факты, у каждого из которых единственный бесспорный и не меняющийся со временем ответ. Ответы оцениваются как верные, неверные или как отказ отвечать, поэтому бенчмарк показывает и точность модели, и то, как часто она выдумывает ответ вместо признания, что не знает.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- Humanity's Last ExamБенчмарк из нескольких тысяч очень сложных вопросов экспертного уровня по математике, естественным и гуманитарным наукам; к части вопросов прилагаются изображения. Его создали Center for AI Safety и Scale AI вместе с сотнями специалистов, чтобы оценивать модели, которые почти полностью решают прежние тесты вроде MMLU. Название переводят как «Последний экзамен человечества».
В новостях
Пользователи массово делают с Claude Opus 5.5 ролики, нарисованные кодом
Бенчмарк из вопросов с подвохом на здравый смысл, пространственное и социальное мышление. Составлен так, что люди без подготовки решают его лучше языковых моделей.