基于联合表示学习的跨视觉模态生物识别研究OA

提出基于联合表示学习的跨视觉模态生物识别方法。具体而言,针对跨人脸-眼周识别问题,提出深度卷积自注意力网络(Deep Convolutional Self-attention Network,DCSAN)和跨视觉模态对比损失函数(Cross-visual-modality Contrast Loss,CVMC)。DCSAN采用深度卷积层来提取不同模态图像块中的纹理特征,实现局部联合表示学习;采用深度卷积多头自注意模块(Deep Convolutional Self-attention Module,DWC-MHSAM)来建模跨模态的全局依赖关系。CVMC损失有助于处理跨模态负样本对,并有助于区分同一模态下不同个体之间高相似度的人脸和眼周图像块。采用Ethnic、FaceScrub和IMDB数据集进行测试,结果表明以人脸作为查询集,最优识别率达到75.46%;以眼周作为查询集,最优识别率达到76.36%。