DeepMath-103K
Открытый набор из примерно 103 тысяч сложных математических задач с проверяемыми окончательными ответами. Его очистили от пересечений с популярными бенчмарками, чтобы избежать загрязнения данных. Набор нужен для обучения рассуждающих языковых моделей с подкреплением, где правильность ответа проверяется по правилам. К каждой задаче приложены несколько решений, сгенерированных моделью, — их можно использовать для дообучения или дистилляции.
проверено по: arxiv.org ↗
См. также
- Загрязнение данныхСитуация, когда задания или ответы оценочного теста попали в обучающие данные модели (benchmark/data contamination). Тогда высокий балл отражает запоминание, а не способность решать новые задачи, и завышает оценку модели. С этим борются закрытыми, регулярно обновляемыми наборами заданий и проверками на пересечение с обучающим корпусом.
- Дистилляция знанийДистилляция знаний (knowledge distillation) — обучение одной модели («ученика») на ответах другой, более сильной модели («учителя»), чтобы перенести её умения в меньшую и более дешёвую модель. Применяется для удешевления моделей, но вызывает споры: пользовательские соглашения многих разработчиков запрещают обучать конкурирующие модели на выходах их систем.
- GSM8KБенчмарк из примерно 8,5 тысячи англоязычных текстовых математических задач школьного уровня, которые решаются в 2–8 действий базовой арифметикой. Выпущен исследователями OpenAI в 2021 году, чтобы проверять, как языковые модели справляются с многошаговыми рассуждениями. Разделён на обучающую часть и тестовую из тысячи задач.
В новостях
Маленькая модель-подсказчик вдвое повысила долю решённых задач у большой
Открытый набор трудных математических задач с проверяемыми ответами, собранный для обучения и проверки языковых моделей.