Градиентный бустинг
Метод машинного обучения (gradient boosting): модель строится как ансамбль простых моделей, обычно деревьев решений. Их добавляют по одной, и каждая следующая исправляет ошибки уже собранного ансамбля — шагом вдоль градиента функции потерь. В отличие от случайного леса, где деревья обучаются независимо друг от друга, здесь они обучаются последовательно. Это один из самых сильных методов для табличных данных; самые известные реализации — XGBoost, LightGBM и CatBoost.
проверено по: en.wikipedia.org ↗
См. также
- TabArenaОткрытый и постоянно обновляемый («живой») бенчмарк для машинного обучения на табличных данных: задачи классификации и регрессии на отобранных вручную наборах данных. На нём сравнивают градиентный бустинг, нейросети и табличные фундаментальные модели, а результаты сводят в публичный рейтинг на основе рейтинга Эло. В отличие от обычных бенчмарков с неизменным составом, сопровождающая команда добавляет в TabArena новые модели и исправляет найденные ошибки.
- AutoGluonОткрытая библиотека автоматического машинного обучения (AutoML) на Python, созданная в Amazon. По нескольким строкам кода сама подбирает, обучает и объединяет в ансамбль модели для табличных данных, временных рядов, текста и изображений. Рассчитана на разработчиков и аналитиков, которым нужна точная модель без ручного перебора алгоритмов и настроек.
- Логистическая регрессияСтатистическая модель (logistic regression), которая оценивает вероятность принадлежности объекта к классу: взвешенная сумма его признаков пропускается через логистическую функцию (сигмоиду) и превращается в число от 0 до 1. Один из самых простых и распространённых методов классификации; в исследованиях нейросетей её часто обучают на внутренних представлениях модели как линейный зонд, чтобы проверить, какая информация в них закодирована.
В новостях
NVIDIA выпустила Kumo — открытые модели для прогнозов по базам данных
Метод машинного обучения: прогноз складывается из множества небольших деревьев решений, и каждое следующее исправляет ошибки предыдущих. Давний стандарт для табличных данных — например, библиотеки XGBoost и LightGBM.
Microsoft показала прогноз риска магнитных бурь для 66 935 подстанций США
Метод машинного обучения, в котором много простых моделей, обычно деревьев решений, строят по очереди, и каждая следующая исправляет ошибки предыдущих. Хорошо работает на табличных данных.
NVIDIA выпустила открытую модель Kumo Tabular для прогнозов по таблицам
Метод машинного обучения, который строит ансамбль деревьев решений: каждое новое дерево исправляет ошибки предыдущих. Долгое время — главный инструмент для предсказаний по табличным данным.