SGFusion:稀疏感知门控的多模态三维目标检测OA
SGFusion:3D Object Detection of Multi-modal with Sparsity-aware Gating
在自动驾驶感知场景中,三维目标检测常因感知模态受限而面临空间建模能力不足和鲁棒性下降的问题.传统基于激光雷达或摄像头的单一模态方法,尤其在远距离和遮挡工况下,难以稳定提供高精度感知结果.为提升检测性能,该文提出一种以鸟瞰图(Bird's Eye View,BEV)表示为基础的结构感知多模态三维目标检测框架 SGFusion,通过融合激光雷达与图像的互补特征,提高检测结果的准确性与鲁棒性.该方法首先引入由激光雷达点云生成的深度监督信号,为图像 BEV 特征提供显式几何先验,从而提升跨模态空间表征的一致性;在此基础上,提出稀疏感知门控双重注意力机制(Sparsity-aware Gated Dual Attention,SGDA),在BEV 空间内显式对齐几何信息与语义特征,并通过输入依赖门控对跨模态注意力响应进行稀疏过滤和上下文自适应重加权,有效抑制深度虚影和对齐噪声,增强模型在复杂场景下的鲁棒性.基于 nuScenes 基准数据集的实验证明,SGFusion 在测试集上实现了74.9%的平均精度均值(mean Average Precision,mAP)和75.5%的综合检测得分(nuScenes Detection Score,NDS),在性能上优于现有代表性的单模态与多模态方法.
In autonomous driving perception,3D object detection often suffers from limited sensing modalities,leading to insufficient spa-tial modeling capability and degraded robustness,especially at long ranges and under heavy occlusions.Conventional single-modal meth-ods based on LiDAR or cameras alone struggle to provide stable and accurate detection in such challenging conditions.To address these issues,we propose SGFusion,a structure-aware multi-modal 3D object detection framework operating in Bird's Eye View(BEV)space.SGFusion integrates complementary LiDAR and image features to improve both accuracy and robustness.Specifically,a depth supervision signal derived from LiDAR point clouds is first introduced to provide explicit geometric priors for image BEV features,thereby enhancing the spatial consistency of cross-modal representations.On this basis,a sparsity-aware gated dual-attention mechanism(Sparsity-aware Gated Dual Attention,SGDA)is proposed to explicitly align geometric and semantic information between modalities in BEV space,while an input-dependent gating branch imposes sparsity on the cross-modal attention responses and adaptively reweights them according to the scene context.This design effectively suppresses depth-estimation artifacts and misalignment noise,and enhances robustness in complex driving scenes.Experiments on the nuScenes benchmark demonstrate that SGFusion achieves a mean Average Precision(mAP)of 74.9%and a nuScenes Detection Score(NDS)of 75.5%on the test set,outperforming representative single-modal and multi-modal baselines.
陈昊东;沈世全;李颖涛;王青旺;陈峥;赵杰;秦宗权;王艳锋
昆明理工大学 信息工程与自动化学院,云南 昆明 650500昆明理工大学 信息工程与自动化学院,云南 昆明 650500||昆明理工大学 交通工程学院,云南 昆明 650500||昆明理工大学 未来交通创新研究院,云南 昆明 650500昆明理工大学 交通工程学院,云南 昆明 650500昆明理工大学 信息工程与自动化学院,云南 昆明 650500昆明理工大学 交通工程学院,云南 昆明 650500昆明云内动力股份有限公司,云南 昆明 650000昆明云内动力股份有限公司,云南 昆明 650000昆明云内动力股份有限公司,云南 昆明 650000
信息技术与安全科学
鸟瞰图三维目标检测多模态融合稀疏感知门控注意力自动驾驶
Bird's Eye View(BEV)3D object detectionmulti-modal fusionsparse perceptiongated attentionautonomous driving
《计算机技术与发展》 2026 (9)
64-70,78,8
云南省科技重点研发计划(202503AA080020)国家自然科学基金项目(52272395)云南省基础研究项目(202401AS070118)
评论