Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Стохастический градиентный спуск
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Стохастический градиентный спуск (SGD) — это эффективный итеративный алгоритм оптимизации целевой функции (обычно функции потерь), используемый для обучения нейросетей и линейных моделей. В отличие от классического градиентного спуска, который считает градиент по всему датасету, SGD обновляет веса на основе одного случайного примера или небольшого мини-батча. Это вносит шум в процесс, помогая выходить из локальных минимумов и значительно ускоряя обучение на больших данных.
Что такое «Стохастический градиентный спуск» простыми словами
Представьте, что вы спускаетесь с горы в густом тумане. Вы можете каждый раз ощупывать землю вокруг себя на 10 метров, чтобы найти идеальный спуск (обычный градиентный спуск), но это очень долго. Стохастический спуск предлагает другое: сделайте быстрый шаг в случайном направлении, которое кажется правильным, основываясь только на том, что у вас под ногами прямо сейчас. Вас будет немного шатать из стороны в сторону, но зато вы сбежите с горы в 100 раз быстрее.
Вопросы и ответы
Как работает стохастический градиентный спуск?
Обновляет веса модели после каждого примера (или мини-батча), что ускоряет обучение на больших данных.
Почему стохастический спуск работает быстрее обычного градиентного спуска?
Обычный спуск считает градиент по всему датасету для одного шага. Стохастический обновляет веса после каждого примера. Он делает тысячи шагов за то же время, что ведет к более быстрой сходимости.
Что такое мини-батч градиентный спуск?
Мини-батч градиентный спуск (Mini-batch GD) — это компромисс между пакетным (по всем данным) и стохастическим (по одному примеру) спуском. Веса обновляются после прогона небольшого пакета (например, 32 или 64 примера). Это позволяет использовать матричные вычисления (параллелизм GPU) для скорости и усреднять шум градиента для стабильности, обеспечивая быструю и качественную сходимость.
