面向信用分配与训练稳定性的注意力校准MAPPO算法OA

协作式多智能体强化学习(multi-agent reinforcement learning,MARL)在复杂部分可观测环境中易发生信用分配粗糙和训练不稳定,制约了多智能体近端策略优化(multi-agent proximal policy optimization,MAPPO)的工程应用。为解决上述问题,提出一种注意力校准MAPPO(attention-calibrated MAPPO,AC-MAPPO)算法。在策略端引入统一跨尺度门控校准卷积编码模块,对局部观测在通道与时间维度进行多尺度重加权;在价值端构建双通道门控注意力模块,实现通道与实体两级显式信用分配。基于SMAC(StarCraft multi-agent challenge)三个典型场景的实验表明,AC-MAPPO相对MAPPO最终胜率平均提升约6.26%,并显著降低学习曲线方差。与IPPO(independent proximal policy optimization)、QMix(Q-value mixing network)及参数量对齐的MAPPOMLP(MAPPO-multi-layer perceptron)等基线相比,AC-MAPPO在样本效率与收敛稳定性上均取得一致优势,表明在现有MAPPO框架内进行轻量结构增强是有效可行的。