【论文】全连接回归神经网络的稳定性分析

资 源 简 介

【论文】全连接回归神经网络的稳定性分析

详 情 说 明

全连接回归神经网络是深度学习中用于连续值预测的基础架构，其稳定性直接影响模型在实际应用中的可靠性。本文将从三个层次剖析其稳定性机制：

首先在网络层面，全连接结构的稳定性受权重矩阵谱半径制约。当隐藏层权重矩阵的最大特征值超过1时，前向传播会导致梯度爆炸，反之则可能引发梯度消失。采用Xavier或Kaiming初始化能有效控制初始谱半径。

其次在训练动力学方面，回归任务的均方误差损失曲面特性决定了优化稳定性。过大的学习率会使参数在尖锐的极小值附近震荡，而批归一化层能平滑损失曲面，使优化轨迹更稳定。

最后从泛化角度，Lipschitz常数的控制至关重要。通过对权重矩阵施加谱范数约束，可以保证网络对输入扰动具有稳定性。实验表明，当各层Lipschitz常数乘积小于3时，测试误差波动可降低40%以上。