基于特征交互和多模态自适应融合的车辆再识别方法OA北大核心CSCDCSTPCD

针对可见光传感器弱光照条件下分辨率受限及单一模态表征不足导致的车辆再识别准确率低的问题,研究了基于特征动态交互和多模态自适应融合的车辆再识别方法。在网络结构方面,将SimAM模块嵌入到YOLOv9模型的骨干网络卷积层,在不引入额外参数的前提下,对不同模态特征间的空间与通道关系进行建模,提取可见光、近红外、远红外模态的初始特征。构建多模态特征交互模块,对3种模态进行特征精细提取并进行模态间信息的交互聚合,提取3种模态的增强特征。搭建多模态自适应特征融合网络,通过提取3种模态的全局向量和掩膜向量,动态自适应生成相应模态的权重系数,进而实现多模态的特征融合。针对样本类内差异大、类间差异小、及同一车辆在不同场景下显著变化的特点,构造交叉熵损失、对比损失和中心损失等多重损失函数,实现多模态的车辆再识别。为验证所提方法的有效性,在多模态数据集RGBN300和RGBNT100上开展实验验证,并与主流方法进行对比分析。针对RGBN300数据集,mAP提升了20.6%、29.0%、5.0%和3.5%;针对RGBNT100数据集,m AP提升了22.5%、12.0%、3.7%和3.0%,Rank-1、Rank-5和Rank-10达到了95.1%、96.7%和96.9%。实验结果表明:通过特征交互和多模态自适应融合,所提取的融合特征更具判别性,车辆再识别性能得到了有效提升。