首页|期刊导航|陕西科技大学学报|基于跨模态一致性引导的相机-雷达融合三维目标检测

基于跨模态一致性引导的相机-雷达融合三维目标检测OA

中文摘要

针对现有相机-雷达融合的三维目标检测方法缺少显式跨模态一致性约束、且易受模态局部响应偏差干扰的问题,本文在查询式相机-雷达融合检测框架基础上进行改进,构建了一种跨模态一致性引导的三维目标检测方法.首先,引入查询级跨模态一致性自蒸馏约束,在训练阶段利用同一查询位置处的雷达与相机BEV特征构建共识教师表示,并基于余弦相似度生成可靠性权重,引导查询学习双模态的共同响应,从而提升融合表示的稳定性.其次,设计可靠性感知的查询空间细化模块,利用门控机制自适应评估空间修正需求,并联合相机语义上下文与雷达几何上下文生成空间残差对查询进行补偿,增强模型对目标局部空间结构的刻画能力.实验结果表明,改进后方法在nuScenes验证集上的mAP和NDS分别达到51.0%和59.4%,相比基线模型分别提升1.0和1.2个百分点;在雨天、夜间等复杂场景下也取得了稳定提升,验证了该方法的有效性.

车俐;李家鑫;蒋留兵

桂林电子科技大学信息与通信学院,广西桂林541004 桂林电子科技大学广西无线宽带通信与信号处理重点实验室,广西桂林541004桂林电子科技大学信息与通信学院,广西桂林541004桂林电子科技大学信息与通信学院,广西桂林541004 桂林电子科技大学广西无线宽带通信与信号处理重点实验室,广西桂林541004

信息技术与安全科学

多模态融合三维目标检测查询解码空间细化跨模态蒸馏

《陕西科技大学学报》 2026 (5)

P.195-202,225,9

国家自然科学基金项目(61561010)广西创新驱动发展专项资助项目(桂科AA21077008)广西高等教育本科教学改革工程项目(2025JGB205)广西研究生教育创新计划项目(2024YCXS032)。

评论