PRML读书会第二章 Probability Distributions(贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等)

资 源 简 介

PRML读书会第二章 Probability Distributions(贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等)

详 情 说 明

概率分布是机器学习与统计建模的核心基础，PRML第二章系统性地介绍了关键分布族及其相互关系。以下是核心要点解析：

共轭先验体系 贝塔-二项式这对共轭分布在二分类问题中展现优雅性质：当先验选择贝塔分布时，后验分布仍保持贝塔分布形式，极大简化了贝叶斯推断计算。类似地，狄利克雷分布作为多项式分布的共轭先验，为多类别建模提供了计算便利性。

高斯分布深度剖析 从单变量到多变量的推广过程揭示了协方差矩阵的几何意义。重点讨论了高斯分布的几何形式、条件概率与边缘概率的分解技巧，以及其在噪声建模中的理论基础地位。

指数族统一视角 指数族分布的重要价值在于其数学表达的通用性，涵盖高斯、伯努利、泊松等常见分布。其共轭性、最大熵特性以及充分统计量的存在，为概率模型设计提供了统一框架。

非参数化方法引子 通过分布族参数的有穷与无穷扩展，自然衔接后续的非参数化方法章节，展示了概率模型从简单到复杂的演进路线。

这些分布不仅是理论工具，更为后续线性回归、混合模型等章节奠定了概率论基础，体现了概率建模中"选择恰当分布即成功一半"的设计哲学。