PRML读书会第九章 Mixture Models and EM（Kmeans；混合高斯模型以及EM（Expectation Maximization）算法；一

资 源 简 介

PRML读书会第九章 Mixture Models and EM（Kmeans；混合高斯模型以及EM（Expectation Maximization）算法；一

详 情 说 明

PRML第九章主要探讨了混合模型及其核心求解算法——EM算法的原理与应用。混合模型是一类强大的概率模型，能够通过简单分布的线性组合来描述复杂数据分布。

本章首先介绍了最基础的K-means聚类算法。这个经典算法通过迭代优化过程寻找数据点的最佳簇分配：在每次迭代中先固定簇中心为当前均值（E步），再重新计算各点到中心的距离来更新簇分配（M步）。虽然简单高效，但K-means存在对初始值敏感、假设各簇为球形分布等局限性。

随后重点讨论了高斯混合模型(GMM)这一概率框架下的推广。与K-means不同，GMM为每个数据点引入了"软分配"概念，通过协方差矩阵可以描述不同形状的簇分布。模型参数估计面临着隐变量带来的困难，这正是EM算法大显身手的地方。

EM算法通过交替执行两个步骤来最大化似然函数的下界：E步基于当前参数计算隐变量的后验分布（相当于K-means中的分配步骤）；M步则利用这个分布更新模型参数（对应K-means的中心更新）。这种处理巧妙地将复杂的优化问题分解为可迭代解决的子问题，为带隐变量的概率模型提供了通用求解框架。