不确定度增强下基于模型的探索-学习策略联合优化OA
在现有基于模型的强化学习方法中,智能体采用同一策略进行与真实环境和环境模型的交互,难以兼顾探索环境的效率和策略更新的稳定性。为解决此问题,提出一种不确定度增强下基于模型的探索-学习策略联合优化方法。该方法联合优化2个策略,分别是用于与真实环境交互的探索策略和与环境模型交互的学习策略。在优化探索策略的过程中,引入基于模型不确定度的内在激励以提升探索真实环境的效率,同时在优化学习策略时将模型不确定度作为约束条件,保证学习策略优化的稳定性。多个连续控制任务的实验结果表明,该方法相比于现有的代表性方法在渐进性能和样本效率上有明显的优势。
肖士湘;黄文振;焦建彬
中国科学院大学电子电气与通信工程学院,北京100049清华大学信息科学技术学院,北京100084中国科学院大学电子电气与通信工程学院,北京100049
信息技术与安全科学
深度强化学习基于模型的强化学习样本效率强化学习探索不确定度模型误差
《中国科学院大学学报(中英文)》 2026 (5)
P.667-676,10
中国科学院先导科技专项(XDA27010300)资助。
评论