共轭梯度法

资 源 简 介

共轭梯度法

详 情 说 明

共轭梯度法是一种高效求解无约束优化问题的迭代算法，特别适用于大规模稀疏线性系统或二次型函数的优化场景。与普通梯度下降法相比，其独特之处在于通过共轭方向的选择，能够有效避免"之字形"下降路径，从而显著提升收敛速度。

该算法的核心思路是：在每次迭代中，利用当前点的梯度信息和前一次的搜索方向，构造出一组彼此共轭的搜索方向。这种构造方式能保证算法在最多n步（n为问题维度）内收敛到最优解，对于二次函数具有理论上的有限步收敛性。

实现共轭梯度法需要两个关键输入：目标函数本身及其梯度（一阶导数）。算法首先计算当前点的负梯度作为初始搜索方向，随后通过线性搜索确定最优步长。每次迭代后会更新共轭方向，并采用修正公式（如Fletcher-Reeves或Polak-Ribière公式）来保证方向的共轭性。

实际应用中常配合Wolfe条件等线性搜索策略，在非二次函数场景下也能保持较好性能。该算法在机器学习参数优化、计算流体力学等领域有广泛应用，尤其适合内存受限但需要处理高维问题的场景。值得注意的是，预处理技术的引入可以进一步提升其数值稳定性。