Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Boosting
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Boosting (Бустинг) — это мощный метод ансамблирования, который превращает набор слабых моделей в одну сильную. В отличие от бэггинга, бустинг обучает модели последовательно: каждая новая модель фокусируется на исправлении ошибок, допущенных предыдущими. Это позволяет достигать высокой точности, но требует аккуратной настройки для предотвращения переобучения.
Что такое «Boosting» простыми словами
Представьте команду студентов. Первый решает тест и делает ошибки. Второй студент смотрит только на ошибки первого и пытается их исправить. Третий исправляет ошибки второго. Бустинг — это построение такой цепочки моделей. Каждая следующая модель — это «специалист по ошибкам» предыдущей. В итоге получается очень сильный коллективный разум, способный решать задачи невероятно точно. Это один из самых мощных методов в ML сегодня.
Вопросы и ответы
Как работает бустинг?
Построение сильного классификатора из цепочки слабых, где каждый следующий исправляет ошибки предыдущих.
Почему бустинг склонен к переобучению?
Бустинг последовательно исправляет ошибки, усложняя модель. Если данных мало или они зашумлены, модель начнет подстраиваться под шум (оверфиттинг). Нужна регуляризация.
Как градиентный бустинг строит ансамбль?
Градиентный бустинг строит ансамбль итеративно. Первая модель делает прогноз. Вторая модель обучается предсказывать ошибку (антиградиент loss-функции) первой модели. Третья — ошибку суммы первых двух. Итоговый прогноз — сумма предсказаний всех моделей (с весами). Каждое дерево исправляет ошибки предыдущих.
