基于分层强化学习的预测校正时间协同路径规划方法OA

针对未知障碍物环境中的多无人机(UAV)时间协同路径规划面临的环境不确定性、多目标冲突性以及计算复杂性挑战,提出了一种融合预测校正思想的分层强化学习方法。通过搭建上层避障、下层校正的双层策略架构,将复杂的多目标优化问题分解为独立求解的子问题。上层基于软演员-评论家(SAC)算法训练避障策略,建立传感器信息与控制指令的端到端映射。两层之间引入基于图注意力网络-Informer(GAT-Informer)的轨迹预测模块,通过建模传感器信息的空间拓扑关系和轨迹时序依赖特征,预测未知障碍物引起的路径扰动。下层采用多智能体软演员-评论家(MASAC)算法训练协同策略模型,根据预测的协同误差对上层指令进行偏置校正。在不同障碍物密度场景下,所提方法与端到端强化学习(E2E-RL)方法相比,时间协同误差平均降低62%,任务成功率平均提高21%,训练收敛速度提升65%以上;消融实验验证了轨迹预测模块的有效性,该模块使协同误差平均降低43%。综上所述,所提方法有效平衡了安全与时间协同的多重约束,能够应对环境不确定性所带来的协同挑战。