Эпоха (в обучении) — это один полный проход алгоритма обучения через весь тренировочный набор данных. Обучение нейросети обычно требует множества эпох, чтобы веса модели достаточно скорректировалис...
Инженерия признаков
Бонус за регистрацию!
Зарегистрируйся и получи бонус
Инженерия признаков представляет собой процесс выбора, преобразования и создания информативных характеристик данных для улучшения производительности моделей машинного обучения. Этот процесс включает в себя анализ данных, создание новых признаков путём комбинирования существующих, нормализацию и масштабирование значений, обработку категориальных переменных и выявление скрытых закономерностей в данных. Качественная инженерия признаков может значительно повысить точность модели и уменьшить необходимость в сложных архитектурах нейронных сетей.
Что такое «Инженерия признаков» простыми словами
Представь, что ты учишь робота отличать спелые яблоки от неспелых. Ты можешь научить его смотреть на цвет, размер, запах и мягкость яблока. Это и есть признаки - характеристики, по которым робот принимает решение. Инженерия признаков - это как составление списка подсказок для робота, чтобы он лучше справлялся со своей задачей. Например, вместо простого "красное или зелёное", мы можем научить его определять оттенки цвета, или комбинировать цвет с размером, чтобы решение было более точным. Это похоже на то, как опытный повар знает, на что именно смотреть, чтобы определить готовность блюда.
Вопросы и ответы
Что такое инженерия признаков?
Создание новых информативных признаков из исходных данных для улучшения работы модели.
Почему Feature Engineering занимает большую часть времени Data Scientist'а?
Данные в сыром виде редко подходят для моделей. Создание правильных признаков (Feature Engineering) требует творчества и понимания домена, и именно качественные признаки дают основной прирост точности.
Как полиномиальные признаки улучшают линейную модель?
Полиномиальные признаки позволяют линейной модели (которая может строить только прямые разделяющие линии) описывать нелинейные зависимости. Добавляя степени признаков ($x^2$) и их произведения ($x_1 \cdot x_2$), мы проецируем данные в пространство более высокой размерности. В этом пространстве линейная гиперплоскость соответствует кривой (параболе, эллипсу) в исходном пространстве признаков.
