Dropout

Dropout — это популярная техника регуляризации нейронных сетей, предназначенная для предотвращения переобучения. В процессе обучения Dropout случайно «выключает» (обнуляет) часть нейронов в слое, заставляя сеть выучивать более надежные и распределенные признаки, не полагаясь на отдельные нейроны.

Что такое «Dropout» простыми словами

Представьте баскетбольную команду, где есть один супер-игрок, а остальные ему только пасуют. Если супер-игрок заболеет, команда проиграет. Dropout — это тренировка, где тренер случайно выгоняет с поля разных игроков. Это заставляет всех остальных учиться играть самостоятельно и брать на себя ответственность. В нейросетях Dropout отключает случайные нейроны, чтобы сеть не полагалась на пару «любимчиков», а использовала все свои ресурсы. Это делает модель надежнее.