Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Функция активации
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Функция активации — это математическая функция, применяемая к выходу каждого нейрона в нейронной сети. Она вводит нелинейность в модель, позволяя сети аппроксимировать сложные зависимости и функции. Без функций активации (таких как ReLU, Sigmoid, Tanh) нейросеть, независимо от глубины, была бы эквивалентна обычной линейной регрессии.
Что такое «Функция активации» простыми словами
Нейрон в сети — это сумматор: он складывает входные сигналы. Но если просто складывать, получится простая линейная зависимость (прямая линия). Функция активации — это «решатель», который стоит на выходе нейрона. Она говорит: «Сигнал слишком слабый, я его заглушу (выдам 0)» или «Сигнал сильный, пропускаем!». Именно эта нелинейность позволяет нейросетям рисовать сложные кривые границы и решать задачи, которые не по зубам обычной математике.
Вопросы и ответы
Какова роль функции активации?
Определяет, активируется ли нейрон; вносит нелинейность в сеть (ReLU, Sigmoid).
Почему ReLU популярнее сигмоиды и тангенса?
ReLU не насыщается в положительной области, что решает проблему затухания градиента, и вычисляется очень быстро, ускоряя обучение глубоких сетей.
Почему Leaky ReLU лучше обычной ReLU?
Обычная ReLU зануляет отрицательные значения ($max(0, x)$). Если нейрон ушел в глубокий минус, градиент становится 0, и веса перестают обновляться («мертвый нейрон»). Leaky ReLU пропускает небольшую часть отрицательного сигнала ($0.01x$), сохраняя градиент. Это позволяет «реанимировать» нейроны и ускоряет обучение.
