Активационная функция
Активационная функция (activation function) – это математическая функция, применяемая к взвешенной сумме входных сигналов нейрона для формирования его выходного сигнала. Она вводит в сеть нелинейность, что позволяет моделировать сложные зависимости. Выбор активационной функции критически влияет на способность сети к обучению, скорость сходимости и проблему затухающих градиентов.
Что такое «Активационная функция» простыми словами
Представь переключатель света с регулятором яркости. Когда ты его крутишь, свет не просто включается или выключается, а может светить с разной интенсивностью. Активационная функция работает похожим образом в нейронных сетях - она решает, насколько сильно должен "загореться" каждый искусственный нейрон в ответ на поступающий сигнал. Благодаря этому нейросеть может учиться распознавать сложные шаблоны, например, отличать леопарда от ягуара на фотографиях или определять эмоции в тексте.
Вносит нелинейность в нейросеть, позволяя ей решать сложные задачи (не только линейные).
Линейная функция активации (f(x)=x) превращает любую многослойную сеть в один линейный слой (сумма линейных функций линейна). Нелинейность необходима для аппроксимации сложных зависимостей.
ReLU не насыщается (производная = 1) для положительных значений, что решает проблему исчезающего градиента и ускоряет обучение.
