Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
ResNet
Бонус за регистрацию!
Зарегистрируйся и получи бонус
ResNet (Residual Network) — это архитектура глубоких нейронных сетей, которая ввела концепцию остаточных связей (skip connections). Эти связи позволяют сигналу проходить сквозь слои без изменений, что решает проблему затухающего градиента при обучении очень глубоких сетей (сотни и тысячи слоев). ResNet стала прорывом в компьютерном зрении, позволив создавать сверхглубокие и точные модели.
Что такое «ResNet» простыми словами
Когда строили очень глубокие сети (100 слоев), сигнал затухал и терялся по дороге. Сеть не училась. ResNet предложила трюк: добавить «шоссе» в обход слоев. Сигнал может идти через слои, а может проскочить напрямую. Это позволило строить сети невиданной глубины (1000 слоев). ResNet победила всех в 2015 году и доказала, что глубже — значит лучше, если правильно соединить провода.
Вопросы и ответы
В чем особенность архитектуры ResNet?
Архитектура нейросети, позволяющая обучать очень глубокие сети за счет остаточных связей.
Как Skip Connections помогают обучать глубокие сети?
Skip Connections добавляют вход слоя к его выходу (residual learning). Это создает «шоссе» для градиента, позволяя обучать сети из сотен слоев (ResNet).
Что такое Residual Block?
Residual Block (в ResNet) содержит skip connection: вход блока добавляется к его выходу $y = F(x) + x$. Сеть учится предсказывать не саму функцию, а остаток (разницу) $F(x)$. Если идеальное преобразование — тождественное, слоям проще обнулить веса $F(x)$, чем учить единичную матрицу. Это позволяет обучать сети глубиной в тысячи слоев.
