流形结构约束下的红外与可见光图像双对抗机制融合OA

现有基于深度学习的红外与可见光图像融合方法,通常忽略了源图像的模态差异,不能充分提取和利用多源图像的结构特征和互补特征,导致融合结果边缘细节丢失、对比度差等问题,为此设计了一种红外与可见光图像在流形结构约束下的双对抗机制融合方法。首先,在生成器中采用双分支网络分别提取两种源图像特征,并在双路间引入跨模态特征交互模块,强化模态互补特征和公共特征的提取。同时,针对不同模态的图像设计了两个鉴别器与生成器对抗博弈,帮助网络学习不同模态特征更准确的表示。最后,计算源图像与融合图像在流形曲面上的几何约束关系,利用流形约束项优化生成器网络的参数,维持源图像与融合图像流形结构的对应关系,增强源图像与融合图像结构和特征的一致性,从而降低源图像模态差异对融合图像的影响。实验表明,与多个典型融合算法相比,所提方法在多个评价指标上达到最优,融合图像不仅具有更好的细节信息和对比度,而且更符合人眼的视觉感知。