MMLU
Massive Multitask Language Understanding — бенчмарк из примерно 16 тысяч вопросов с вариантами ответа по 57 областям знаний: от математики и физики до права, медицины и истории. Его выпустила группа Дэна Хендрикса в 2020 году, и он долго был главным мерилом общей эрудиции языковых моделей. Сильные модели почти исчерпали его, поэтому появились более сложные версии вроде MMLU-Pro.
проверено по: arxiv.org ↗
См. также
- GPQAБенчмарк из нескольких сотен вопросов с выбором ответа по биологии, физике и химии уровня аспирантуры. Вопросы составили специалисты так, чтобы ответ нельзя было быстро найти поиском (англ. Google-proof): эксперты с профильной степенью отвечают на них заметно лучше, чем подготовленные неспециалисты с доступом к интернету. Самые надёжные и трудные вопросы выделены в отдельное подмножество GPQA Diamond.
- Humanity's Last ExamБенчмарк из нескольких тысяч очень сложных вопросов экспертного уровня по математике, естественным и гуманитарным наукам; к части вопросов прилагаются изображения. Его создали Center for AI Safety и Scale AI вместе с сотнями специалистов, чтобы оценивать модели, которые почти полностью решают прежние тесты вроде MMLU. Название переводят как «Последний экзамен человечества».
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- GSM8KБенчмарк из примерно 8,5 тысячи англоязычных текстовых математических задач школьного уровня, которые решаются в 2–8 действий базовой арифметикой. Выпущен исследователями OpenAI в 2021 году, чтобы проверять, как языковые модели справляются с многошаговыми рассуждениями. Разделён на обучающую часть и тестовую из тысячи задач.
В новостях
Глава TypeSafe объяснил, почему в модели Jev нет отказов
Бенчмарк из тысяч вопросов с вариантами ответа по десяткам школьных и университетских предметов, от математики до права. Долго считался главным тестом общих знаний языковых моделей.