Словарь
LiveCodeBench
Бенчмарк, который оценивает навыки языковых моделей в программировании и постоянно пополняется новыми задачами с соревновательных платформ LeetCode, AtCoder и Codeforces. У каждой задачи указана дата публикации. Поэтому модель можно проверять только на задачах, вышедших после окончания её обучения, и так избежать загрязнения данных. Кроме написания кода бенчмарк проверяет исправление собственных ошибок, выполнение кода и предсказание результатов тестов.