Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Скорость обучения
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Скорость обучения (Learning Rate) — это один из важнейших гиперпараметров алгоритмов оптимизации (например, SGD или Adam), определяющий размер шага, на который изменяются веса модели при каждой итерации обучения. Слишком высокая скорость может привести к тому, что модель «перепрыгнет» оптимальное решение, а слишком низкая — к неоправданно долгому обучению или застреванию в локальных минимумах.
Что такое «Скорость обучения» простыми словами
Представьте, что вы заблудились в горах в тумане и хотите спуститься вниз. Вы ощупываете землю ногой и делаете шаг в ту сторону, где склон идет вниз. Скорость обучения (Learning Rate) — это то, насколько широкий шаг вы делаете. Если делать крошечные шажки, вы спуститесь безопасно, но это займет неделю (долгое обучение). Если прыгать огромными скачками, вы можете перепрыгнуть нужную низину или вообще улететь в овраг (модель не обучится). Нужно подобрать идеальный размер шага.
Вопросы и ответы
На что влияет скорость обучения (Learning Rate)?
Определяет размер шага, который делает алгоритм оптимизации при обновлении весов модели.
Что происходит, если скорость обучения слишком велика или мала?
Слишком большая скорость заставляет алгоритм «перепрыгивать» минимум ошибки. Слишком малая скорость делает обучение бесконечно долгим и повышает риск застревания в локальных минимумах.
Что такое Learning Rate Decay (затухание скорости обучения)?
Learning Rate Decay (затухание скорости обучения) — это техника уменьшения шага градиентного спуска (LR) в процессе обучения. В начале, когда мы далеко от оптимума, большой шаг ускоряет движение. В конце, чтобы точно попасть в минимум и не «проскакивать» его, шаг нужно уменьшать. Это повышает финальную точность модели.
