基于大语言模型和探索模块的户外场景视觉语言导航OA

视觉语言导航(VLN)任务旨在引导智能体根据语言指令在3D或真实环境中移动到目标位置。然而,传统端到端深度学习VLN算法存在不足,智能体在导航规划中一旦出现错误动作,就容易进入错误路径,导致无法继续遵循指令或探索不必要的区域。为了解决这一问题,提出一种基于大语言模型(LLM)和探索模块的智能体Nav-Explore。该智能体利用LLM强大的推理能力,结合语言指令和当前视觉信息预测下一步动作,并引入探索模块以平衡探索与利用。探索模块通过ε-greedy策略决定智能体在正常导航和探索模式间切换,当随机概率小于ε时进入探索模式,智能体通过探索可能的未来路径,提前评估下一步行动的可行性,从而有效避免做出错误决策。而当随机概率大于ε时,智能体直接采用LLM输出的动作进行导航。这种模块化设计使得Nav-Explore方法能够有效地提升导航成功率,并增强智能体在未见环境中的泛化能力。实验结果表明,Nav-Explore在Touchdown和Map2seq 2个户外环境VLN基准数据集上取得了优异的性能,显著提升了导航成功率。此外,Nav-Explore也展现出较强的泛化能力,能够在不同的环境中有效地完成导航任务。