基于异步解耦强化学习的TSN时间同步方法OA

时间同步是智能铁路系统稳定运行的核心保障。未来,智能铁路列车通信网络将逐步向时间敏感网络演进,然而在高速铁路动态运行场景下,链路延迟波动会对其同步过程产生显著影响,导致列车时间敏感网络主从时钟偏差增大。为了提升列车时间敏感网络的时间同步性能,文中提出一种基于异步解耦多智能体强化学习的时间敏感网络时间同步方法。首先,建立主从时钟同步状态模型;然后,提出自适应异步解耦强化学习一致性控制策略,构建“执行-学习”异步解耦的分布式架构;其次,设计了异步解耦多智能体自适应策略,通过迭代学习完成从时钟状态参数更新与一致性控制输出的反馈调节,实现了时间敏感网络主从时钟同步误差的动态自适应补偿;最后,利用V-trace重要性采样校正机制,自适应修正由策略滞后产生的时序差分误差,克服了异步离策略数据带来的学习偏差,从而完成TSN时间同步。仿真结果表明,与对比方法相比,文中方法在同步精度、收敛速度及抗干扰稳定性方面均有显著优势,能够有效提高列车时间敏感网络时间同步性能。