MATH-500
Набор из 500 математических задач, выделенный из тестовой части MATH для оценки способности языковых моделей решать математические задачи. Результат обычно измеряют долей задач, для которых модель получила правильный итоговый ответ.
проверено по: github.com ↗
См. также
- Omni-MATH-2Бенчмарк из задач математических олимпиад для проверки языковых моделей — вручную очищенная версия бенчмарка Omni-MATH. Математик проверил каждую задачу: дополнил недостающие условия и рисунки и пометил нестандартные задачи (на доказательство, оценку или с изображением). Основное подмножество содержит только задачи с точным ответом, которые удобно проверять автоматически.
- GSM8KБенчмарк из примерно 8,5 тысячи англоязычных текстовых математических задач школьного уровня, которые решаются в 2–8 действий базовой арифметикой. Выпущен исследователями OpenAI в 2021 году, чтобы проверять, как языковые модели справляются с многошаговыми рассуждениями. Разделён на обучающую часть и тестовую из тысячи задач.
- FrontierMathБенчмарк исследовательского института Epoch AI из оригинальных математических задач, составленных и проверенных профессиональными математиками; ответы к ним не опубликованы, поэтому их нельзя было запомнить при обучении. Задачи разбиты по уровням сложности — от университетских до исследовательских, требующих у специалиста часов и дней работы.
- DeepMath-103KОткрытый набор из примерно 103 тысяч сложных математических задач с проверяемыми окончательными ответами. Его очистили от пересечений с популярными бенчмарками, чтобы избежать загрязнения данных. Набор нужен для обучения рассуждающих языковых моделей с подкреплением, где правильность ответа проверяется по правилам. К каждой задаче приложены несколько решений, сгенерированных моделью, — их можно использовать для дообучения или дистилляции.
В новостях
Опыт MIT с правкой чисел в нейросетях повторили, но выводы авторов оспорили
Тест языковых моделей на задачах школьных математических соревнований: модель должна дать правильный итоговый ответ.