Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Целевая функция
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Целевая функция — это математическая функция, которую алгоритм оптимизации стремится минимизировать или максимизировать в процессе обучения. В машинном обучении это чаще всего функция потерь (минимизация ошибки) или функция вознаграждения (максимизация награды в обучении с подкреплением).
Что такое «Целевая функция» простыми словами
Целевая функция — это главная цель жизни для алгоритма, выраженная математически. Для таксиста это «заработать максимум денег за смену». Для навигатора — «минимизировать время в пути». В машинном обучении мы всегда что-то оптимизируем: либо минимизируем ошибку (Loss), либо максимизируем награду. Алгоритм слепо следует за этой функцией, поэтому важно правильно её задать: «Бойся ошибок!» или «Рискуй ради выигрыша!».
Вопросы и ответы
Какова роль целевой функции в оптимизации?
Это функция, которую алгоритм стремится минимизировать (потери) или максимизировать (награду).
В чем разница между выпуклой и невыпуклой целевой функцией?
Выпуклая функция имеет только один глобальный минимум (легко найти). Невыпуклая (как в нейросетях) имеет много локальных минимумов, где алгоритм может застрять.
Как градиентный спуск минимизирует целевую функцию?
Градиентный спуск вычисляет частные производные целевой функции по всем параметрам (весам). Полученный вектор градиента указывает направление наискорейшего роста функции. Алгоритм делает шаг в противоположном направлении (антиградиент), вычитая градиент из весов с коэффициентом (Learning Rate). Повторяя это, он скатывается в минимум.
