频域空间信息驱动的特征聚合跨模态行人重识别方法OA

跨模态行人重识别旨在匹配可见光与红外不同模态下的行人图像,该任务的核心挑战是缓解可见光与红外模态间差异并提取具有鉴别力的共享特征。然而,现有方法在最小化模态间差异和提取模态共享特征过程中,未能充分利用数据增强后的模态信息且忽略了不同尺度特征语义关联性,提出一种基于频域空间信息的特征聚合(FDSIFA)网络。首先,通过设计的多分支频域空间感知模块(MFSPM),对不同模态的增强图像和原始图像充分提取模态特定信息,同时在频域和空间维度上挖掘跨模态特征的一致性,有效减小了模态间的差异;其次,设计了多阶段特征聚合模块(MFAM),自适应聚合不同尺度的特征,挖掘低层次特征与高层次特征之间的语义关联,提升特征的语义表达能力和判别力。该网络在SYSU-MM01数据集的全搜索模式下,rank-1和mAP分别达到了75.09%和71.35%,优于对比方法,实验结果验证了所提方法的有效性。