基于DoubleBP神经网络的分层强化学习方法_徐志雄

资 源 简 介

基于DoubleBP神经网络的分层强化学习方法_徐志雄

详 情 说 明

分层强化学习（HRL）通过任务分解提升传统强化学习的效率，而结合DoubleBP神经网络的方法进一步优化了决策过程的稳定性。徐志雄提出的方案核心在于利用双反向传播（Double Backpropagation）机制，分别处理高层策略的抽象目标与底层动作的具体执行。

在架构设计上，高层网络负责分解复杂任务为子目标序列，底层网络则通过DoubleBP算法同步更新策略（避免Q值过估计问题）。这种分层结构既保留了时间抽象性，又通过双重误差传播机制提升了神经网络在稀疏奖励场景下的收敛效率。

算法创新点主要体现在三个方面：1）采用目标递归机制实现层次间梯度传递；2）在经验回放阶段区分层次优先级；3）通过对抗样本生成增强状态空间探索能力。实验数据表明，该方法在连续控制任务中较传统DDPG算法缩短约40%的训练周期。

当前技术瓶颈在于层次间的信用分配问题，后续可结合注意力机制优化子目标权重计算。这种融合深度学习与分层决策的框架，为机器人控制、游戏AI等领域提供了新的算法思路。