GSM8K
Бенчмарк из примерно 8,5 тысячи англоязычных текстовых математических задач школьного уровня, которые решаются в 2–8 действий базовой арифметикой. Выпущен исследователями OpenAI в 2021 году, чтобы проверять, как языковые модели справляются с многошаговыми рассуждениями. Разделён на обучающую часть и тестовую из тысячи задач.
проверено по: arxiv.org ↗
См. также
- MMLUMassive Multitask Language Understanding — бенчмарк из примерно 16 тысяч вопросов с вариантами ответа по 57 областям знаний: от математики и физики до права, медицины и истории. Его выпустила группа Дэна Хендрикса в 2020 году, и он долго был главным мерилом общей эрудиции языковых моделей. Сильные модели почти исчерпали его, поэтому появились более сложные версии вроде MMLU-Pro.
- Omni-MATH-2Бенчмарк из задач математических олимпиад для проверки языковых моделей — вручную очищенная версия бенчмарка Omni-MATH. Математик проверил каждую задачу: дополнил недостающие условия и рисунки и пометил нестандартные задачи (на доказательство, оценку или с изображением). Основное подмножество содержит только задачи с точным ответом, которые удобно проверять автоматически.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- Цепочка рассужденийПриём и режим работы языковой модели (chain of thought), при котором перед итоговым ответом она выписывает промежуточные шаги решения и опирается на них. Повышает качество на задачах, требующих многошагового вывода, а сам текст рассуждения используют исследователи безопасности для наблюдения за ходом мысли модели.
- DeepMath-103KОткрытый набор из примерно 103 тысяч сложных математических задач с проверяемыми окончательными ответами. Его очистили от пересечений с популярными бенчмарками, чтобы избежать загрязнения данных. Набор нужен для обучения рассуждающих языковых моделей с подкреплением, где правильность ответа проверяется по правилам. К каждой задаче приложены несколько решений, сгенерированных моделью, — их можно использовать для дообучения или дистилляции.
В новостях
SemiAnalysis вынесла часть DeepSeek V4.1-Flash из видеопамяти в ОЗУ
Набор школьных математических задач, которые решаются в несколько действий. На нём проверяют, как языковые модели справляются с арифметикой, где нужно рассуждать.