Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Softmax
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Softmax — это функция активации, которая превращает вектор произвольных чисел (логитов) в вектор вероятностей, сумма которых равна 1. Обычно используется в последнем слое нейросетей для задач многоклассовой классификации, позволяя интерпретировать выход сети как уверенность в принадлежности к каждому из классов.
Что такое «Softmax» простыми словами
Превращатель в вероятности. Нейросеть выдает какие-то числа: 5, 2, -1. Softmax превращает их в понятные проценты: 0.8, 0.15, 0.05. Сумма всегда 1. Это позволяет сказать: "С вероятностью 80% это кот".
Вопросы и ответы
Как функция Softmax преобразует выходы нейросети в распределение вероятностей классов?
Softmax используется в последнем слое классификатора. Он превращает выходы нейронов (логиты) в распределение вероятностей (сумма равна 1), позволяя выбрать наиболее вероятный класс.
Как Softmax обеспечивает, чтобы сумма вероятностей всех классов была равна 1?
Softmax возводит входы в степень экспоненты (все становятся положительными) и делит на их сумму. Это нормализует вектор так, что все элементы лежат в (0, 1) и их сумма равна 1, что интерпретируется как вероятность.
Почему Softmax неустойчив к большим числам (overflow) и как это лечат?
Экспонента от большого числа (exp(1000)) вызывает переполнение (infinity). На практике перед Softmax из всех логитов вычитают максимальный логит. Это сдвигает числа в отрицательную область (max=0), результат Softmax не меняется, но вычисления стабильны.
