Softmax
Бонус за регистрацию!
новые тарифы и нейросети
Softmax — это функция активации, которая превращает вектор произвольных чисел (логитов) в вектор вероятностей, сумма которых равна 1. Обычно используется в последнем слое нейросетей для задач многоклассовой классификации, позволяя интерпретировать выход сети как уверенность в принадлежности к каждому из классов.
Что такое «Softmax» простыми словами
Превращатель в вероятности. Нейросеть выдает какие-то числа: 5, 2, -1. Softmax превращает их в понятные проценты: 0.8, 0.15, 0.05. Сумма всегда 1. Это позволяет сказать: "С вероятностью 80% это кот".
Вопросы и ответы
Softmax используется в последнем слое классификатора. Он превращает выходы нейронов (логиты) в распределение вероятностей (сумма равна 1), позволяя выбрать наиболее вероятный класс.
Softmax возводит входы в степень экспоненты (все становятся положительными) и делит на их сумму. Это нормализует вектор так, что все элементы лежат в (0, 1) и их сумма равна 1, что интерпретируется как вероятность.
Экспонента от большого числа (exp(1000)) вызывает переполнение (infinity). На практике перед Softmax из всех логитов вычитают максимальный логит. Это сдвигает числа в отрицательную область (max=0), результат Softmax не меняется, но вычисления стабильны.
