FrontierMath
Бенчмарк исследовательского института Epoch AI из оригинальных математических задач, составленных и проверенных профессиональными математиками; ответы к ним не опубликованы, поэтому их нельзя было запомнить при обучении. Задачи разбиты по уровням сложности — от университетских до исследовательских, требующих у специалиста часов и дней работы.
проверено по: epoch.ai ↗
См. также
- Epoch AIНезависимая некоммерческая исследовательская организация, которая изучает тенденции развития ИИ: рост вычислительных мощностей для обучения, данные, стоимость и возможности моделей. Её базы данных, индексы и прогнозы используют исследователи, компании и те, кто разрабатывает правила для ИИ.
- Humanity's Last ExamБенчмарк из нескольких тысяч очень сложных вопросов экспертного уровня по математике, естественным и гуманитарным наукам; к части вопросов прилагаются изображения. Его создали Center for AI Safety и Scale AI вместе с сотнями специалистов, чтобы оценивать модели, которые почти полностью решают прежние тесты вроде MMLU. Название переводят как «Последний экзамен человечества».
- GPQAБенчмарк из нескольких сотен вопросов с выбором ответа по биологии, физике и химии уровня аспирантуры. Вопросы составили специалисты так, чтобы ответ нельзя было быстро найти поиском (англ. Google-proof): эксперты с профильной степенью отвечают на них заметно лучше, чем подготовленные неспециалисты с доступом к интернету. Самые надёжные и трудные вопросы выделены в отдельное подмножество GPQA Diamond.
- Epoch Capabilities IndexСводный индекс возможностей ИИ-моделей от исследовательской организации Epoch AI. Он сводит результаты десятков бенчмарков в одну шкалу с помощью статистической модели, которая одновременно оценивает силу моделей и сложность тестов. Поэтому модели можно сравнивать, даже если их проверяли на разных бенчмарках, и следить за прогрессом, когда отдельные тесты уже решены почти полностью.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
В новостях
Сооснователь Anthropic заявил на встрече МВФ, что сингулярность уже началась
Математический тест исследовательской организации Epoch AI: сотни новых трудных задач, которые составили и проверили профессиональные математики. Ответы держат в секрете, чтобы модели не могли их заучить.