Fisher线性判别分析LDA分类程序

资 源 简 介

本程序实现了经典的Fisher线性判别分析（Linear Discriminant Analysis）算法，主要用于解决高维空间中的二分类问题。Fisher判别法的核心思想是投影技术，通过寻找一个最优的投影方向，将高维原始数据投影到一维直线上，使得投影后的数据点满足类内散度最小而类间散度最大的要求。 程序首先提取已知类别样本矩阵A和B的统计特征，计算各类的均值向量，并构建类内离散度矩阵Sw与类间离散度矩阵Sb。随后通过求解广义特征值方程来确定最优投影向量c，即判别系数向量。在分类执行阶段，程序将待分类数据

详 情 说 明

Fisher线性判别分析分类器

项目介绍

本项目实现了一个基于Fisher准则的线性判别分析（LDA）分类系统。该系统的核心目标是解决二分类任务，通过寻找一个最优的投影方向，将高维原始数据压缩到一维空间。在该一维空间中，程序确保同类数据点尽可能接近（类内散度最小），而不同类别的中心点尽可能远离（类间散度最大）。这种方法在模式识别、统计学习和工业质量检测等领域具有广泛的应用价值，尤其适用于特征间存在线性相关性的数据分析。

功能特性

1. 自动化数据模拟：程序内置了基于多元正态分布的训练样本和测试样本生成功能，能够模拟具有不同均值和协方差矩阵的两个类别。
2. 严格的离散度计算：通过迭代计算类内离散度矩阵（Sw）和类间离散度矩阵（Sb），精确刻画数据的空间分布特性。
3. 稳健的投影方向求解：采用线性方程组求解方式获取判别系数向量，并内置了针对奇异矩阵的广义特征值分解处理机制。
4. 综合判别逻辑：基于投影均值的中点确定分类阈值，能够自动适应不同投影方向下的样本分布关系。
5. 直观的图形化展示：提供高质量的可视化界面，同步展示训练数据、分类模拟测试结果、投影方向线以及决策边界。

详细实现逻辑

程序按以下步骤执行：

1. 模拟生成训练数据与测试数据：

利用多元正态分布生成两个类别的训练集（各50个样本）和测试集（各20个样本）。第一类样本均值为[2, 3]，第二类样本均值为[7, 8]，两类具有不同的协方差矩阵。

1. 计算统计特征与离散度矩阵：

首先计算各类的中心均值向量。随后通过遍历每个样本，累加样本点与类中心之差的跨步积，分别构建两类的类内离散度矩阵，并求和得到总类内离散度矩阵Sw。通过两类均值向量差的转置与其自身的积计算类间离散度矩阵Sb。

1. 求解最优投影方向：

基于Fisher判别准则，目标是最大化J(w)函数。程序优先尝试求解线性方程组 Sw * c = (m1 - m2) 来获得投影向量。如果Sw出现奇异（不可逆），则转为求解广义特征值方程，选取最大特征值对应的特征向量作为判别系数。最后对向量进行归一化处理。

1. 待分类数据识别：

将两类的中心点投影到最优方向上，取两个投影值的平均数作为决策阈值。将待分类的测试样本投影到该方向，通过比较投影值与阈值的大小关系来指派类别标签。

1. 结果可视化：

程序创建一个白色背景的图形窗口。使用散点图绘制训练集，使用菱形标记绘制测试集的分类结果。同时计算并绘制一条通过类别中心的中点的虚线作为投影方向，以及一条与其垂直的实线作为决策边界。

关键算法与实现细节

算法核心： Fisher判别准则：程序通过最大化类间散度与类内散度的比值，寻找特征空间中的最优判别直线。

鲁棒性处理： 在求解判别系数时，程序检查了Sw矩阵的行列式。当矩阵非奇异时使用反斜杠算子（高效线性求解）；当矩阵奇异时，通过eig函数进行广义特征值分解，确保在各种数据环境下都能获得有效解。

决策边界构建： 决策边界被定义为垂直于投影向量且经过两类中心点中点的直线。程序通过构造投影向量的法向量，结合参数化方程实现了边界的几何绘制。

使用方法

1. 环境配置：确保已安装MATLAB及其统计与机器学习工具箱（用于调用多元正态分布函数）。
2. 执行程序：在MATLAB编辑器中运行该脚本。
3. 查看输出：

命令行窗口将实时显示最优投影系数向量c、Fisher判别函数值F以及计算得出的分类阈值。 图形窗口将弹出，展示数据分布、分类效果、投影线和决策边界。

系统要求

1. 软件环境：MATLAB R2016b 或更高版本。
2. 必备工具箱：Statistics and Machine Learning Toolbox（用于提供mvnrnd函数支持）。
3. 硬件要求：标准PC配置，支持图形渲染。