Активационная функция

Активационная функция (activation function) – это математическая функция, применяемая к взвешенной сумме входных сигналов нейрона для формирования его выходного сигнала. Она вводит в сеть нелинейность, что позволяет моделировать сложные зависимости. Выбор активационной функции критически влияет на способность сети к обучению, скорость сходимости и проблему затухающих градиентов.

Что такое «Активационная функция» простыми словами

Представь переключатель света с регулятором яркости. Когда ты его крутишь, свет не просто включается или выключается, а может светить с разной интенсивностью. Активационная функция работает похожим образом в нейронных сетях - она решает, насколько сильно должен "загореться" каждый искусственный нейрон в ответ на поступающий сигнал. Благодаря этому нейросеть может учиться распознавать сложные шаблоны, например, отличать леопарда от ягуара на фотографиях или определять эмоции в тексте.