​有限内存BFGS（L-BFGS）

资 源 简 介

​有限内存BFGS（L-BFGS）

详 情 说 明

有限内存BFGS（L-BFGS）是针对大规模优化问题的高效解决方案。作为BFGS算法的内存优化版本，它通过存储最近几次迭代的曲率信息而非完整的Hessian矩阵，显著降低了内存消耗。

核心思想在于利用有限的历史信息构建目标函数的二阶近似。每次迭代时，算法根据前m步的梯度变化和参数更新计算搜索方向，这使得它特别适合特征维度高的机器学习模型训练。与原始BFGS相比，L-BFGS将空间复杂度从O(n²)降至O(mn)，其中n是参数数量，m通常取5-20。

实际应用中有两个显著优势：一是无需显式存储或计算Hessian矩阵，二是通过双循环递归机制高效计算搜索方向。这些特性使其成为逻辑回归、条件随机场等模型的主流优化器。需要注意的实践要点包括：历史信息数量m的取舍会影响收敛速度，线搜索策略的选择对算法稳定性至关重要。