PRML读书会第十章 Variational Inference（近似推断、变分推断用到的KL散度、根据平均场 Mean Field 思想的分解及迭代求最优解）

资 源 简 介

PRML读书会第十章 Variational Inference（近似推断、变分推断用到的KL散度、根据平均场 Mean Field 思想的分解及迭代求最优解）

详 情 说 明

变分推断是概率模型中一种重要的近似推断方法，它通过优化问题来逼近难以直接计算的后验分布。这种方法在机器学习领域有着广泛的应用，特别是在处理复杂概率模型时。

变分推断的核心思想是将复杂的后验分布近似问题转化为一个优化问题。具体来说，它会寻找一个简单的分布族中的分布，使其与真实后验分布尽可能接近。这种接近程度通常使用KL散度来衡量。

KL散度（Kullback-Leibler divergence）是衡量两个概率分布差异的非对称度量。在变分推断中，我们最小化近似分布与真实后验分布之间的KL散度。有趣的是，这个最小化问题等价于最大化证据下界（ELBO），这在实践中更为实用。

平均场理论是变分推断中的一种常用方法。它将复杂的多变量分布分解为各个变量独立分布的乘积形式。这种分解大大简化了计算过程，但也引入了一定的近似误差。在实际应用中，我们通常会假设各个变量之间相互独立，然后通过迭代的方式优化每个变量的分布。

迭代求解过程是变分推断的关键步骤。在平均场假设下，我们固定其他变量，轮流优化每个变量的分布。这种坐标上升的方法保证每次迭代都能提高ELBO，最终收敛到一个局部最优解。

变分推断的优势在于它将推断问题转化为优化问题，这使得我们可以利用成熟的优化技术来处理复杂的概率模型。与采样方法相比，变分推断通常计算效率更高，特别适合大规模数据集。然而，它的近似性质也意味着结果可能不如精确方法准确。