第三章 k 近邻法

资 源 简 介

第三章 k 近邻法

详 情 说 明

k近邻法（k-Nearest Neighbors，简称k-NN）是机器学习中最简单直观的分类算法之一。它的核心思想非常符合人类直觉：要判断一个新样本的类别，只需查看它在特征空间中最近的k个邻居，然后根据这些邻居的多数类别来决定新样本的类别。

该方法被称为"惰性学习"的代表，因为它在训练阶段不进行任何显式的学习过程，只是简单存储所有训练数据。直到新样本出现时，算法才开始计算距离并做出预测。这种方式虽然减少了训练时间开销，但会导致预测时较高的计算成本。

实现k近邻法需要考虑三个关键因素：首先是距离度量的选择，常用的有欧氏距离、曼哈顿距离等；其次是k值的确定，通常通过交叉验证来选择最优值；最后是分类决策规则，最简单的就是多数表决法。

k近邻法的优势在于简单易懂、无需训练过程，并且对数据分布没有假设。但它的缺点也很明显：对噪声数据敏感，需要存储全部训练数据，在高维空间中效果会下降。在实际应用中，通常会通过数据归一化和降维等预处理手段来提高k-NN的表现。