Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Tanh (Гиперболический тангенс)
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Tanh (Гиперболический тангенс) — это функция активации, похожая на сигмоиду, но масштабированная в диапазон от -1 до 1. Благодаря центрированию вокруг нуля, она часто работает лучше сигмоиды в скрытых слоях нейросетей, обеспечивая более сильные градиенты, хотя проблема затухания градиента сохраняется.
Что такое «Tanh (Гиперболический тангенс)» простыми словами
Похожа на Сигмоиду, но выдает числа от -1 до 1. Это удобно, когда важно различать "положительный" и "отрицательный" вклад признака. Часто используется в рекуррентных сетях (LSTM).
Вопросы и ответы
В чем отличие функции активации Tanh от сигмоиды с точки зрения диапазона выходных значений?
Tanh (гиперболический тангенс) похож на сигмоиду, но его выход [-1, 1]. Это центрирует данные вокруг нуля, что часто ускоряет сходимость обучения по сравнению с нецентрированной сигмоидой.
Почему функция Tanh центрирована относительно нуля и чем это полезно?
Tanh выдает значения от -1 до 1 (среднее 0). Это лучше, чем сигмоида (0..1), так как центрированные данные предотвращают зигзагообразное движение градиентов при обучении, ускоряя сходимость.
Как Tanh используется в ячейках LSTM и GRU?
Tanh (от -1 до 1) используется как функция активации для внутренних состояний ячеек. Она позволяет значениям как расти, так и уменьшаться, и сохраняет данные центрированными, что важно для стабильного потока градиентов во времени.
