K-Nearest Neighbors (KNN)
Бонус за регистрацию!
новые тарифы и нейросети
K-Nearest Neighbors (KNN, Метод k-ближайших соседей) — это простой метрический алгоритм для классификации и регрессии. Для классификации нового объекта KNN находит K ближайших к нему объектов в обучающей выборке и присваивает класс, который наиболее популярен среди этих соседей. Это пример «ленивого обучения».
Что такое «K-Nearest Neighbors (KNN)» простыми словами
Скажи мне, кто твой друг, и я скажу, кто ты. KNN работает по этому принципу. У нас есть новая загадочная точка на графике. Алгоритм смотрит на её ближайших соседей. Если 3 из 5 соседей — «синие квадраты», то и новая точка, скорее всего, «синий квадрат». Это «ленивый» алгоритм — он ничего не учит заранее, а просто запоминает все данные и каждый раз ищет соседей по факту запроса.
Вопросы и ответы
Простой алгоритм классификации, относящий объект к классу его ближайших соседей.
Оптимальное k подбирается кросс-валидацией. Малое k — шум и переобучение, большое k — сглаживание границ классов.
«Проклятие размерности» для KNN означает, что в пространстве высокой размерности (сотни признаков) все точки становятся примерно одинаково далекими друг от друга. Понятие «ближайшего соседа» теряет смысл, так как разница расстояний до ближайшего и самого далекого соседа стремится к нулю. Алгоритм перестает различать классы.
