Скорость обучения

Скорость обучения (Learning Rate) — это один из важнейших гиперпараметров алгоритмов оптимизации (например, SGD или Adam), определяющий размер шага, на который изменяются веса модели при каждой итерации обучения. Слишком высокая скорость может привести к тому, что модель «перепрыгнет» оптимальное решение, а слишком низкая — к неоправданно долгому обучению или застреванию в локальных минимумах.

Что такое «Скорость обучения» простыми словами

Представьте, что вы заблудились в горах в тумане и хотите спуститься вниз. Вы ощупываете землю ногой и делаете шаг в ту сторону, где склон идет вниз. Скорость обучения (Learning Rate) — это то, насколько широкий шаг вы делаете. Если делать крошечные шажки, вы спуститесь безопасно, но это займет неделю (долгое обучение). Если прыгать огромными скачками, вы можете перепрыгнуть нужную низину или вообще улететь в овраг (модель не обучится). Нужно подобрать идеальный размер шага.