基于强化学习方法的访存调度算法_邱东黎

资 源 简 介

基于强化学习方法的访存调度算法_邱东黎

详 情 说 明

访存调度是计算机体系结构中的关键问题，直接影响缓存命中率和系统性能。传统调度算法通常基于固定规则（如LRU、FIFO），但难以适应动态变化的工作负载。邱东黎提出的基于强化学习的方法通过以下思路实现突破：

问题建模 将访存调度转化为马尔可夫决策过程（MDP），以缓存行的访问序列作为状态空间，替换决策作为动作空间，缓存命中率提升作为奖励信号。

算法核心 采用Q-learning或深度Q网络（DQN）等强化学习框架，使调度器通过与环境交互自主学习最优策略。模型会动态识别访问模式特征（如循环、步长等），而非依赖预设规则。

关键创新 状态编码：融合访存地址、历史访问频率等多维特征 奖励设计：平衡即时命中奖励与长期缓存污染惩罚 在线学习：适应工作负载突变，避免静态策略的局限性

优势体现 相比传统算法，该方法在多媒体处理、科学计算等不规则访存场景中可提升10%-30%的缓存命中率，尤其适合非局部性访问模式。

该研究为存储层次优化提供了数据驱动的新范式，后续可结合图神经网络进一步捕捉复杂访存依赖关系。