基于边际费舍尔分析(MFA)的流形学习降维系统

资 源 简 介

本系统实现了一种高级的监督式降维算法，即边际费舍尔分析(Marginal Fisher Analysis)。该算法在图嵌入框架下设计，旨在解决传统线性判别分析(LDA)对数据分布假设过严以及降维维度受限于类别数的问题。系统核心功能包含：首先通过构建内在图(Intrinsic Graph)来描述同类样本间的局部紧密性，通过连接每个样本与其同类中最近的k1个邻居来捕捉类内几何结构；其次通过构建惩罚图(Penalty Graph)来描述异类样本间的边际可分性，通过连接处于不同类别的边界样本对(k2个最近对)来刻

详 情 说 明

基于边际费舍尔分析(MFA)的流形学习降维系统

项目介绍

本系统实现了一种高级的监督式降维算法——边际费舍尔分析（Marginal Fisher Analysis）。该算法跳出了传统线性判别分析（LDA）要求数据服从高斯分布的局限，采用图嵌入（Graph Embedding）框架来重新定义类内和类间的关系。系统通过挖掘数据的局部几何结构，旨在寻找一个最优投影平面，使得同类样本在局部范围内更加紧密，而异类边界样本（边际样本）在投影后具有最大的可分性。该系统集成了从合成复杂流形数据、核心算法求解、判别性能评估到多维可视化分析的全流程功能，特别适用于处理具有非线性流形结构的高维分类任务。

功能特性

1. 监督式局部拓扑保持：算法利用类别标签引导降维，同时保留数据的局部近邻结构。
2. 突破LDA限制：降维后的目标维度不再受限于“类别数减一”，可根据实际需求灵活设定。
3. 双图结构建模：通过内在图（Intrinsic Graph）捕捉同类近邻的紧密性，通过惩罚图（Penalty Graph）刻画异类边界的排斥性。
4. 增强的判别评估：内置基于Fisher Score的定量评价指标，直观量化降维后特征的可分性。
5. 自动化数据模拟：能够生成具有螺旋流形结构的高维嵌套数据，用于验证算法在复杂场景下的性能。
6. 鲁棒性计算处理：系统在求解过程中引入正则化机制，有效处理小样本量（SSS）导致的矩阵奇异性问题。

使用方法

1. 环境配置：确保计算机已安装MATLAB R2016b或更高版本，并安装了Statistics and Machine Learning Toolbox（用于距离计算）。
2. 参数配置：在脚本入口处，用户可根据需要调整样本数、类别数、原始维度及目标维度。同时，可调节k1（同类近邻数）和k2（异类近邻数）以优化图结构。
3. 执行程序：在MATLAB命令行窗口中调用程序。系统将自动生成数据，执行MFA算法计算投影矩阵，并输出降维前后的定量评价指标。
4. 结果查看：程序执行完毕后将自动弹出两个对比子图，展示数据在高维原始空间（取前三维投影）与MFA降维后的低维空间中的分布差异。

系统要求

1. 软件环境：MATLAB R2016b 及以上版本。
2. 硬件环境：建议主频2.0GHz以上，内存4GB以上。
3. 依赖项：内置的pdist、squareform、eig等标准数学函数库。

系统实现逻辑与功能细节

系统流程严格遵循以下五个逻辑阶段：

1. 模拟流形数据生成：系统并非仅生成简单的聚类点，而是通过参数方程构造了一组在三维空间内相互嵌套、具有不同半径和高度的螺旋线流形。为了模拟真实世界的高维噪声环境，系统将这些三维结构填充至更高维度的空间（如10维），并加入随机正态分布噪声，最后对数据进行零均值化预处理，作为算法的输入特征矩阵。

1. 内在图(Intrinsic Graph)构建：这是体现“同类紧密性”的关键步骤。系统计算所有样本间的欧氏距离矩阵，针对每一个样本，算法会检索与其具有相同标签的样本，并筛选出距离最近的k1个邻居。在权重矩阵Sw中，若两个样本属于同类且互为近邻，则建立连接（置为1）。基于此构建内在图拉普拉斯矩阵Lw = Dw - Sw。

1. 惩罚图(Penalty Graph)构建：这是体现“异类边际可分性”的核心。系统扫描不同类别的样本对，寻找处于类别边界处的k2个最近点对。在权重矩阵Sb中，将这些具有相互排斥潜力的异类样本点进行连接。此步骤旨在捕捉最容易混淆的边界特征，构建惩罚图拉普拉斯矩阵Lb = Db - Sb。

1. 广义特征分解求解：系统将降维问题转化为一个约束最优化问题。目标是寻找投影矩阵W，使得变换后的类间边际距离最大化，类内近邻距离最小化。具体表现为求解广义特征分解：(X * Lb * X')w = lambda * (X * Lw * X')w。为了防止矩阵在中途计算时因为维度过高或样本不足产生奇异性，系统在分母矩阵（类内散度）上加了一个微小的正则化项（1e-6）。

1. 降维映射与质量评估：系统根据特征值从大到小的顺序，提取前d个特征向量构成投影矩阵。通过将高维矩阵与投影矩阵相乘，得到降维后的低维映射。随后，系统调用性能评估模块，利用Fisher Score公式计算类间平方和与类内平方和的比值，给出降维效果的数值化定义。

关键算法与细节分析

1. 局部近邻定义：MFA与传统LDA的最大区别在于它只关注“局部”关系。在构建Sw时，k1参数控制了局部邻域的大小，这使得算法能够处理非线性的流形分布，而LDA往往会将整个类簇视为一个点。

1. 边际样本挖掘：惩罚图Sb的构建反映了边际分析的思想。通常类中心的样本容易区分，而位于决策边界的异类样本最难区分。通过k2近邻筛选，MFA强制拉开这些“危险边界点”的距离，从而提升分类器的泛化能力。

1. 广义特征值排序：在求解过程中，特征值的大小直接代表了对应特征向量捕捉判别信息的能力。系统选择较大的特征值所对应的向量，这对应于最大化异类方差的同时保持同类紧密。

1. 可视化分析策略：系统采用对比显示法。子图1展示原始数据在前三个物理维度的投影，通常此时各类别相互重叠；子图2展示降维后的判别空间，此时复杂的流形结构被展开并线性可分，直观证明了算法的降维有效性。