基于GAIL-PPO两阶段训练的高速公路车辆换道决策优化框架OACHSSCD

针对高速公路场景下智能车辆换道决策中模仿学习对数据质量依赖性高、泛化能力有限以及强化学习训练效率低、多目标难以兼顾等问题,提出一种基于生成对抗模仿学习(generative adversarial imitation learning, GAIL)与近端策略优化(proximal policy optimization, PPO)的两阶段协同优化框架。在GAIL判别器中引入基于Wasserstein距离并结合梯度惩罚的对抗机制以提升训练稳定性;并将PPO纳入GAIL的生成器更新过程,通过Actor-Critic架构增强策略学习的鲁棒性;采用PPO对预训练策略进行多目标强化微调,构建融合通行效率与安全约束的多目标奖励函数,实现从专家模仿到复杂场景约束下的策略优化。基于highway-env仿真环境的实验结果表明,与PPO baseline和DQN方法相比,所提出方法在平均通行速度方面分别提升约4%和8%,同时有效减少不必要的换道行为;结合纵向加速度时间序列分析与鲁棒性测试结果,进一步验证了该方法在不同驾驶时长、交通流密度、车道数及车辆动力学约束条件下的稳定性与泛化能力。