fisher 的lda算法

资 源 简 介

fisher 的lda算法

详 情 说 明

Fisher的线性判别分析（Linear Discriminant Analysis, LDA）是一种经典的监督降维与特征提取方法，由统计学家R.A. Fisher提出，广泛应用于模式识别和机器学习领域。其核心思想是通过最大化类间离散度与最小化类内离散度的比值，找到最优投影方向，使得同类样本尽可能聚集、不同类样本尽可能分离。

算法逻辑分为以下关键步骤： 计算类内散度矩阵：统计每个类别样本与其均值的偏离程度，反映同类数据的紧凑性。 计算类间散度矩阵：衡量不同类别均值之间的差异，体现类别可分性。 求解广义特征值问题：通过矩阵运算找到使判别准则最大化的投影向量，通常转化为求解（类间散度矩阵）与（类内散度矩阵逆）的乘积矩阵的特征向量。 降维投影：选取前k个最大特征值对应的特征向量构成变换矩阵，将原始数据投影到低维空间。

Fisher LDA的显著优势是能够保留类别判别信息，尤其适合小样本数据集。但需注意，它假设数据服从高斯分布且各类协方差矩阵相同，实际应用中需考虑这些前提条件是否满足。