Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Активационная функция
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Активационная функция (activation function) – это математическая функция, применяемая к взвешенной сумме входных сигналов нейрона для формирования его выходного сигнала. Она вводит в сеть нелинейность, что позволяет моделировать сложные зависимости. Выбор активационной функции критически влияет на способность сети к обучению, скорость сходимости и проблему затухающих градиентов.
Что такое «Активационная функция» простыми словами
Представь переключатель света с регулятором яркости. Когда ты его крутишь, свет не просто включается или выключается, а может светить с разной интенсивностью. Активационная функция работает похожим образом в нейронных сетях - она решает, насколько сильно должен "загореться" каждый искусственный нейрон в ответ на поступающий сигнал. Благодаря этому нейросеть может учиться распознавать сложные шаблоны, например, отличать леопарда от ягуара на фотографиях или определять эмоции в тексте.
Вопросы и ответы
Зачем нужна активационная функция?
Вносит нелинейность в нейросеть, позволяя ей решать сложные задачи (не только линейные).
Почему линейная функция активации делает нейросеть бесполезной для сложных задач?
Линейная функция активации (f(x)=x) превращает любую многослойную сеть в один линейный слой (сумма линейных функций линейна). Нелинейность необходима для аппроксимации сложных зависимостей.
Почему ReLU лучше сигмоиды для глубоких сетей?
ReLU не насыщается (производная = 1) для положительных значений, что решает проблему исчезающего градиента и ускоряет обучение.
