模式识别作业

资 源 简 介

模式识别作业

详 情 说 明

在模式识别课程中，实现分类任务是核心课题之一。本次作业涉及四种经典的非参数分类方法：平均样本法、平均距离法、最近邻法（NN）和K近邻法（KNN）。这些方法通过样本间距离计算建立决策规则，适用于未知数据分布的场景。

平均样本法 通过计算每个类别的样本均值作为类代表点，新样本根据与各类别均值的欧氏距离进行分类。该方法计算简单但对异常值敏感，且假设各类呈球形分布。

平均距离法 拓展了平均样本法的思想，计算新样本到类别内所有样本的平均距离，选择最小平均距离对应的类别。相比均值法更能反映类别分布形态，但计算量随样本数增加而增大。

最近邻法（1-NN） 直接寻找训练集中距离新样本最近的单个样本，其类别即为预测结果。决策边界呈现复杂的多边形结构，对局部特征敏感，但容易受到噪声样本干扰。

K近邻法（KNN） 通过统计最近K个邻居的类别多数票决定分类结果。K值控制模型复杂度：较小的K导致高方差（过拟合倾向），较大的K带来高偏差（平滑决策边界）。通常采用交叉验证选择最优K值。

关键实现要点 距离度量：欧氏距离最常用，曼哈顿距离或马氏距离可应对不同数据特性。 特征标准化：消除量纲影响，确保距离计算的公平性。 时间复杂度：最近邻类方法预测阶段需遍历所有训练样本，适合小规模数据。

这些方法虽原理简单，但揭示了模式识别中“相似度决定类别”的本质思想，为理解更复杂的分类器（如SVM、神经网络）奠定基础。