Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Слой нормализации
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Слой нормализации (Normalization Layer) — это архитектурный компонент глубоких нейросетей, предназначенный для стандартизации активаций предыдущего слоя (приведение к нулевому среднему и единичной дисперсии). Популярные методы, такие как Batch Normalization или Layer Normalization, стабилизируют процесс обучения, позволяют использовать более высокую скорость обучения и борются с проблемой затухания градиентов.
Что такое «Слой нормализации» простыми словами
Представьте, что вы учите класс детей, но одни дети — великаны, а другие — лилипуты. Великаны кричат громко, лилипуты шепчут. Учителю (нейросети) сложно их понять одновременно. Слой нормализации — это как волшебная палочка, которая на время урока делает всех детей одного роста и заставляет говорить с одной громкостью. Данные становятся «стандартными», предсказуемыми, и нейросети гораздо проще и быстрее учиться, когда никто не «кричит» громче других.
Вопросы и ответы
Что делает слой нормализации?
Приводит значения активаций к стандартному диапазону для ускорения и стабилизации обучения.
Почему Batch Normalization ускоряет обучение?
Она нормализует данные внутри слоев сети, приводя их к стандартному распределению. Это стабилизирует градиенты, позволяет увеличить скорость обучения и делает сеть менее чувствительной к инициализации.
Как Layer Normalization отличается от Batch Normalization?
Layer Normalization нормализует входы нейронов (вычитает среднее, делит на дисперсию) в рамках одного обучающего примера (по всем признакам слоя), независимо от батча. Batch Normalization делает это по всему мини-батчу для каждого признака отдельно. LayerNorm лучше работает в RNN и Трансформерах, где зависимость от размера батча нежелательна.
