用于可见-红外行人重识别的模态共享门控双流TransformerOA

可见光-红外行人重识别旨在匹配不同模态下的同一身份行人图像,是计算机视觉领域一项极具挑战性的任务。在现实场景中,光照不足往往导致识别困难,严重限制了行人重识别系统的实用性。尽管基于卷积神经网络的传统方法已得到广泛研究,但受限于局部感受野及下采样操作,这类方法容易造成模态信息的丢失。针对上述问题,本文提出了一种基于vision Transformer(ViT)的可见光-红外行人重识框架——模态共享门控双流Transformer。针对红外与RGB图像间的模态差异,采用灰度图像增强策略,将RGB图像转换为灰度图以最小化模态间隙。设计模态特有嵌入模块,引导ViT更有效地提取模态共享特征。随后,利用模态共享模块充分挖掘RGB、灰度及红外3类图像中的模态无关特征。最后,引入模态共享门控层对特征进行精细筛选,保留高鉴别力特征以用于后续重识别任务。本文框架能够全面提取多模态信息,并有效保留模态无关特征。在SYSU-MM01和RegDB数据集上的大量实验表明,该方法优于当前主流技术。