基于最大似然估计的统计分类算法项目

资 源 简 介

本项目旨在实现一种基于最大似然估计（Maximum Likelihood Estimation, MLE）的概率统计分类算法。该算法的核心逻辑是利用已知类别样本的统计特性，假设数据样本服从多元正态分布（高斯分布），通过最大化似然函数来估计模型参数并计算待分类数据属于各个类别的条件概率。

详 情 说 明

基于最大似然估计的统计分类算法详解

项目介绍

本项目实现了一个基于最大似然估计（Maximum Likelihood Estimation, MLE）的概率统计分类器。该模型建立在贝叶斯决策论的基础之上，通过假设每一类数据均服从多元正态分布（高斯分布），利用训练样本集对其参数——均值向量和协方差矩阵进行统计估计。最终通过构建判别函数，对未知样本进行类别归属的预测。

功能特性

• 模拟数据生成：内置多变量高斯分布数据生成器，支持自定义均值、协方差矩阵，可以模拟多个类别在特征空间中的分布。
• 训练与测试划分：自动将生成的样本集按比例划分为训练集与测试集，以保证模型评估的客观性。
• MLE参数估计：完整实现了高斯分布下的最大似然估计逻辑，包括类先验概率、均值向量以及经过偏差修正后的协方差矩阵。
• 多类判别分类：采用对数似然判别函数，能处理多个类别之间的分类问题，计算样本属于各类的后验得分并取最大值作为预测结果。
• 多维度性能评估：通过计算分类准确率和构建混淆矩阵（Confusion Matrix），直观展现分类器的性能。
• 自动化可视化：动态生成分类结果图，包括训练数据点、分类决策边界区域、估计的类中心位置、以及代表各分布范围的二倍标准差等概率椭圆轮廓线。

核心实现逻辑

1. 数据集生成逻辑：

利用随机数发生器生成三组二维高斯分布数据。每组数据根据预设的真实均值和协方差矩阵通过多元正态随机函数产生，并被赋予相应的类别标签。

1. 最大似然学习过程：

算法遍历每一个类别，针对该类别的训练样本进行统计： * 均值估计：计算该类样本的算术平均值。 * 协方差估计：计算样本离差矩阵的平均值。注意这里采用了MLE的标准定义（除以样本总数n，而非n-1），以精确符合最大似然估计的数学推导。 * 先验概率：计算各类别样本数占总训练样本数的比例。

1. 判别决策逻辑：

对于待分类的测试样本，程序根据对数似然函数计算判别得分。该得分综合考虑了样本到各中心的马氏距离、协方差矩阵的行列式（代表分布的扩撒程度）以及类的先验概率。通过比较各类的得分，将样本判定为得分最高的类别。

1. 决策边界绘制逻辑：

在特征空间内生成密集的网格点，对每一个网格点应用相同的分类判别函数，再利用等高线填充技术绘制出不同类别的决策区域颜色图。

1. 分布特征可视化：

通过对估计出的协方差矩阵进行特征值分解，确定概率分布的主轴方向和长度，绘制出代表各类别统计特性的二维等概率椭圆。

关键函数与算法分析

• mvnrnd：用于生成符合特定均值和协方差要求的多元正态分布随机数，作为实验的基础数据。
• 均值与协方差计算：代码直接体现了MLE的数学公式，即样本均值是总体均值的一致估计，而样本二阶中心矩是协方差矩阵的最大似然估计。
• 对数判别函数 (Discriminant Function)：算法消除了指数项，转化为二次型求和的形式。其中涉及到的矩阵求逆（inv）用于计算马氏距离，行列式计算（det）用于衡量概率密度的缩放因子。
• 特征值分解 (eig)：在可视化部分，通过对协方差矩阵进行特征值分解，计算出投影变换矩阵，从而精确绘制出反映数据分布形态的旋转椭圆。

使用方法

1. 启动MATLAB软件。
2. 将包含相关脚本的工作目录设置为当前路径。
3. 在命令行窗口输入入口函数名并回车。
4. 程序将自动运行并在控制台输出各类的估计均值、分类准确率及混淆矩阵。
5. 程序末尾会自动弹出可视化窗口，展示分类结果、决策边界和概率轮廓线。

系统要求

• 软件环境：MATLAB R2016b 或更高版本。
• 必要工具箱：Statistics and Machine Learning Toolbox（用于执行mvnrnd等统计相关函数）。
• 硬件建议：标准PC配置即可，由于采用了向量化运算，算法运行速度极快。