Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Gradient Boosting
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Gradient Boosting (Градиентный бустинг) — это мощный метод машинного обучения, который строит ансамбль предсказательных моделей (обычно деревьев решений) поэтапно. Каждое новое дерево обучается предсказывать ошибки (остатки), сделанные предыдущими деревьями. Градиентный бустинг (XGBoost, LightGBM) часто побеждает в соревнованиях на табличных данных.
Что такое «Gradient Boosting» простыми словами
Представьте, что вы играете в гольф. Первый удар — мяч полетел, но не долетел до лунки. Вы не бьете заново от начала. Вы подходите к мячу и бьете оттуда, стараясь исправить ошибку первого удара. Градиентный бустинг делает так же. Первая модель делает грубый прогноз. Вторая модель учится предсказывать ошибку первой модели. Третья — ошибку второй. Сумма этих маленьких поправок дает невероятно точный удар «в лунку».
Вопросы и ответы
Что такое градиентный бустинг?
Метод машинного обучения, строящий предсказание в виде ансамбля слабых моделей (деревьев).
Что такое градиент в математике?
Градиент — это вектор частных производных, указывающий направление наискорейшего роста функции. Антиградиент указывает на минимум.
Как XGBoost использует градиентный бустинг?
XGBoost (eXtreme Gradient Boosting) — это эффективная реализация градиентного бустинга. Он строит ансамбль деревьев, оптимизируя дифференцируемую функцию потерь. Он использует регуляризацию весов деревьев, эффективную обработку разреженных данных, параллельное построение узлов и аппроксимацию гистограммами для скорости.
