L-BFGS大规模无约束优化算法底层实现

资 源 简 介

该项目通过MATLAB底层代码自主实现了有限内存BFGS（L-BFGS）算法，专门用于解决大规模无约束非线性优化问题。核心功能在于通过维护两个长度有限的向量序列来存储最近m步的自变量位移和梯度变化，进而利用双循环递归算法近似计算Hessian逆矩阵与梯度的乘积，从而确定搜索方向，有效避免了高维空间下显式存储和求逆巨大Hessian矩阵的计算开销。系统内置了满足强Wolfe准则的线搜索功能，能够动态调整步长以保证算法在迭代过程中的全局收敛性与计算稳定性。该实现不调用MATLAB自带的优化工具箱函数，完全通过

详 情 说 明

基于MATLAB手动实现的L-BFGS无约束优化算法

项目介绍

本项目提供了一个在MATLAB环境下完全自主开发的有限内存拟牛顿法（L-BFGS）算法实现。该算法旨在解决大规模无约束非线性优化问题，通过模拟拟牛顿法（BFGS）的行为，同时大幅降低计算与存储需求。相较于传统拟牛顿法需要存储完整的Hessian逆矩阵（$O(n^2)$复杂度），本实现仅跟踪最近 $m$ 步的变量位移与梯度差值（$O(mn)$复杂度），使其能够直接处理包含成百上千甚至更多变量的高维工程问题。

功能特性

1. 纯向量化实现：不依赖MATLAB Optimization Toolbox（优化工具箱），全部核心逻辑采用底层数组运算实现，计算效率高。
2. 有限内存管理：通过循环缓冲区技术高效存储步长和梯度变化向量。
3. 强Wolfe准则线搜索：内置动态步长调整机制，确保搜索方向不仅能降低目标函数值，还能满足曲率条件，从而保证全局收敛性。
4. 鲁棒性计算：在更新内存序列前执行曲率验证（Curvature Condition check），避免由于非凸性导致的计算不稳定。
5. 直观可视化：内置收敛曲线绘制功能，支持目标函数值与梯度范数的双对数坐标展示。

系统要求

• MATLAB R2016b 或更高版本。
• 基础MATLAB环境（无需任何额外工具箱）。

实现逻辑说明

1. 参数初始化：系统首先定义变量维度（默认100维）、内存存储深度（默认10对向量）、最大迭代步数及收敛精度。初始点设置在Rosenbrock函数的一个经典挑战位置。
2. 循环迭代过程：

* 计算方向：调用双循环递归函数计算搜索方向 $d$。该过程不构造Hessian矩阵。 * 步长搜索：利用强Wolfe准则进行线搜索。若初始尝试步长不满足下降准则（Armijo准则）或曲率准则，则进入区间缩减（Zoom）逻辑。 * 序列更新：计算位移向量 $s_k$ 和梯度差向量 $y_k$，当满足正定性检查（$s_k^T y_k > epsilon$）时，利用循环缓冲区机制更新存储。

1. 退出机制：当当前的梯度范数小于预设阈值或达到最大迭代次数时，算法停止并输出最优解。

核心算法与关键函数分析

1. 优化器主程序：

负责控制算法的整体流转，维护循环缓冲区的指针位置，动态记录迭代历程。

1. L-BFGS双循环递归（Two-Loop Recursion）：

这是该实现的计算核心。它通过两次嵌套循环（后向和前向）利用过去 $m$ 步的信息近似计算 $H_k nabla f_k$。在首次迭代或内存为空时，算法自动退化为最速下降方向，随后逐渐建立二阶曲率近似。

1. 强Wolfe准则线搜索（Strong Wolfe Line Search）：

实现的线搜索包含两个阶段。第一阶段尝试倍增步长以寻找包含最优步长的区间；第二阶段进入 Zoom 过程，通过区间对分与插值逻辑，精准定位满足 Armijo 充分下降条件和强曲率约束（$|nabla f(x+alpha d)^T d| leq -c_2 nabla f(x)^T d$）的点。

1. 辅助查找函数（Zoom）：

这是线搜索的配套逻辑，专门用于在两个步长边界内进行精细化搜索，确保在非凸区域也能找到使算法保持稳定的点。

1. 测试目标函数：

内置了经典的Rosenbrock（香蕉函数）及其一阶梯度解析计算式。该函数具有狭长的抛物线形山谷，是检验二阶优化算法性能的工业标准基准。

使用方法

1. 打开MATLAB并将所在目录设为工作路径。
2. 在命令行窗口直接运行主入口函数（main）。
3. 脚本将自动执行100维维度的Rosenbrock函数优化。
4. 观察终端输出的迭代信息，包括函数值下降情况与梯度变化。
5. 优化结束后将自动弹出收敛过程图表。
6. 用户可通过修改主函数中的参数（如 n 或 m）来测试不同规模的问题。