Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Локальный минимум
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Локальный минимум — это точка на поверхности функции потерь, в которой значение ошибки меньше, чем во всех соседних точках, но может быть больше, чем в глобальном минимуме (самой глубокой точке). При обучении нейросетей градиентный спуск может «застрять» в локальном минимуме, прекратив улучшать модель. Современные методы оптимизации и седловые точки в многомерных пространствах делают эту проблему менее критичной для глубокого обучения.
Что такое «Локальный минимум» простыми словами
Представьте, что вы спускаетесь с горы в тумане и попали в небольшую ямку. Вам кажется, что вы на дне, потому что во все стороны идет подъем. Но на самом деле настоящее дно долины (глобальный минимум) намного ниже. В обучении нейросетей есть риск застрять в таком «локальном минимуме» и перестать улучшать модель, думая, что идеал достигнут.
Вопросы и ответы
В чем опасность застревания алгоритма оптимизации в локальном минимуме функции потерь вместо глобального?
Локальный минимум — это точка, где ошибка минимальна в окрестности, но не глобально. Алгоритм может застрять в ней. Современные оптимизаторы (Adam) и стохастичность помогают выбраться из локальных ям.
Что такое седловая точка и почему она может стать проблемой при поиске минимума функции?
В седловой точке градиент равен нулю, но это не экстремум (минимум по одной оси, максимум по другой). В многомерных пространствах нейросетей седловых точек гораздо больше, чем локальных минимумов, что затрудняет оптимизацию.
Как методы второго порядка (Ньютона) помогают быстрее находить минимум функции?
Метод Ньютона использует вторую производную (Гессиан), чтобы аппроксимировать функцию параболой и прыгнуть сразу в её минимум. Это сходится за шаги, а не итерации, но требует вычисления обратного Гессиана (очень дорого).
