Omni-MATH-2
Бенчмарк из задач математических олимпиад для проверки языковых моделей — вручную очищенная версия бенчмарка Omni-MATH. Математик проверил каждую задачу: дополнил недостающие условия и рисунки и пометил нестандартные задачи (на доказательство, оценку или с изображением). Основное подмножество содержит только задачи с точным ответом, которые удобно проверять автоматически.
проверено по: arxiv.org ↗
См. также
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- GSM8KБенчмарк из примерно 8,5 тысячи англоязычных текстовых математических задач школьного уровня, которые решаются в 2–8 действий базовой арифметикой. Выпущен исследователями OpenAI в 2021 году, чтобы проверять, как языковые модели справляются с многошаговыми рассуждениями. Разделён на обучающую часть и тестовую из тысячи задач.
- Международная математическая олимпиадаМеждународная математическая олимпиада (International Mathematical Olympiad, IMO) — старейшее и самое известное ежегодное соревнование по математике для школьников, где участники из десятков стран решают задачи на доказательство. Её задачи стали популярным способом проверять способность ИИ-систем к строгим математическим рассуждениям.
- FrontierMathБенчмарк исследовательского института Epoch AI из оригинальных математических задач, составленных и проверенных профессиональными математиками; ответы к ним не опубликованы, поэтому их нельзя было запомнить при обучении. Задачи разбиты по уровням сложности — от университетских до исследовательских, требующих у специалиста часов и дней работы.
В новостях
Маленькая модель-подсказчик вдвое повысила долю решённых задач у большой
Набор олимпиадных математических задач для проверки языковых моделей; очищенная версия бенчмарка Omni-MATH.