TabArena
Открытый и постоянно обновляемый («живой») бенчмарк для машинного обучения на табличных данных: задачи классификации и регрессии на отобранных вручную наборах данных. На нём сравнивают градиентный бустинг, нейросети и табличные фундаментальные модели, а результаты сводят в публичный рейтинг на основе рейтинга Эло. В отличие от обычных бенчмарков с неизменным составом, сопровождающая команда добавляет в TabArena новые модели и исправляет найденные ошибки.
проверено по: arxiv.org ↗
См. также
- Градиентный бустингМетод машинного обучения (gradient boosting): модель строится как ансамбль простых моделей, обычно деревьев решений. Их добавляют по одной, и каждая следующая исправляет ошибки уже собранного ансамбля — шагом вдоль градиента функции потерь. В отличие от случайного леса, где деревья обучаются независимо друг от друга, здесь они обучаются последовательно. Это один из самых сильных методов для табличных данных; самые известные реализации — XGBoost, LightGBM и CatBoost.
- БенчмаркСтандартный набор задач с заранее заданными метриками и правилами оценки (benchmark), на котором сравнивают модели и методы. Все участники проверяются на одних и тех же данных, поэтому результаты можно воспроизвести и честно сопоставить. В отличие от внутренних тестов компании, бенчмарки обычно открыты и служат общей мерой для всей отрасли.
- Рейтинг ЭлоМетод расчёта относительной силы участников по результатам их встреч один на один. Его придумал физик Арпад Эло для шахмат, потом метод перешёл в другие игры и виды спорта. Рейтинг растёт после побед и падает после поражений, причём сильнее всего меняется после неожиданного исхода. В оценке ИИ так ранжируют модели по попарным сравнениям их ответов, например на платформах вроде Arena.
- Фундаментальная модельБольшая модель, заранее обученная на огромном и разнообразном наборе данных (обычно с самообучением), которую затем приспосабливают к множеству разных задач с помощью дообучения или подсказок, а не обучают отдельную модель под каждую задачу. Термин (foundation model) ввели исследователи Стэнфордского университета в 2021 году. Понятие шире, чем большая языковая модель: так называют и модели для изображений, речи, биологии и других областей.
- AutoGluonОткрытая библиотека автоматического машинного обучения (AutoML) на Python, созданная в Amazon. По нескольким строкам кода сама подбирает, обучает и объединяет в ансамбль модели для табличных данных, временных рядов, текста и изображений. Рассчитана на разработчиков и аналитиков, которым нужна точная модель без ручного перебора алгоритмов и настроек.
В новостях
ИИ-агент готовит таблицы для модели Google TabFM и снижает её ошибки
Постоянно обновляемый бенчмарк для машинного обучения на таблицах: методы сравнивают на наборе реальных датасетов с задачами классификации и регрессии и сводят в общий рейтинг.
NVIDIA выпустила открытую модель Kumo Tabular для прогнозов по таблицам
Открытый бенчмарк, который сравнивает методы машинного обучения на табличных данных — от градиентного бустинга до табличных фундаментальных моделей — и постоянно пополняется новыми участниками.