前馈神经网络

资 源 简 介

bp神经网络算法是解决最优化问题的先进算法之一，本论文讨论了神经网络中使用最为广泛的前馈神经网络。其网络权值学习算法中影响最大的就是误差反向传播算法（back-propagation简称BP算法）。BP算法存在局部极小点，收敛速度慢等缺点。基于优化理论的Levenberg-Marquardt算法忽略了二阶项。该文讨论当误差不为零或者不为线性函数即二阶项S(W)不能忽略时的Hesse矩阵的近似计算，进而训练网络。

详 情 说 明

bp神经网络算法是解决最优化问题的先进算法之一。本论文将重点讨论神经网络中使用最为广泛的前馈神经网络以及其网络权值学习算法。误差反向传播算法（back-propagation简称BP算法）是该算法中最具影响力的部分。然而，BP算法存在一些缺点，例如局部极小点和收敛速度慢。为了解决这些问题，我们引入了基于优化理论的Levenberg-Marquardt算法，但该算法忽略了二阶项。因此，我们在本文中讨论了当误差不为零或者不为线性函数时，即二阶项S(W)不能忽略时，如何近似计算Hesse矩阵，并据此进行网络训练。