Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Gradient Descent
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Gradient Descent (Градиентный спуск) — это итеративный алгоритм оптимизации первого порядка, используемый для нахождения локального минимума дифференцируемой функции (функции потерь). Суть метода — изменять параметры модели в направлении, обратном градиенту функции в текущей точке, шаг за шагом спускаясь к оптимальному решению с минимальной ошибкой.
Что такое «Gradient Descent» простыми словами
Представьте, что вы стоите на вершине горы ночью в густом тумане. Вам нужно спуститься в самую низкую точку долины (найти минимум ошибки). Вы ничего не видите, но можете чувствовать наклон земли под ногами. Градиентный спуск — это стратегия: «Почувствуй, куда идет уклон вниз, и сделай шаг туда». Шаг за шагом, нащупывая спуск, алгоритм находит дно — оптимальные настройки нейросети, где ошибка минимальна.
Вопросы и ответы
Как работает градиентный спуск?
Итеративный алгоритм оптимизации для нахождения минимума функции потерь.
Как Learning Rate влияет на сходимость градиентного спуска?
Малый LR — сходимость медленная, но точная. Большой LR — быстрая, но может «перепрыгнуть» минимум или вызвать расхождение (взрыв функции потерь).
Что такое локальный минимум в градиентном спуске?
Локальный минимум в градиентном спуске — это точка на поверхности функции потерь, где ошибка меньше, чем во всех соседних точках, но больше, чем в глобальном минимуме (самой глубокой яме). Градиент здесь равен нулю, и алгоритм может застрять, перестав обновлять веса, хотя лучшее решение существует в другом месте.
