基于频域动态增强与掩码感知门控融合的图像修复网络OA

针对图像修复任务中传统方法存在固定频率划分难以适应不同数据、局部与全局特征融合失衡及下采样信息丢失等问题,提出了一种基于频域动态增强与掩码感知门控融合的端到端网络。首先,设计动态高低频率注意力模块,动态调整频率划分边界及各频带对特征的贡献度,解决传统固定频率分离无法适配不同数据的问题;其次,构建动态门控融合模块,平衡高频细节与低频结构的重建精度,缓解复杂掩膜导致的局部特征退化与全局上下文割裂,减少伪影生成;最后,提出几何感知掩码引导下采样,借助双注意力机制增强特征表达,融合下采样特征与原始特征,利用门控机制平衡特征贡献度,避免信息丢失。在CelebA-HQ数据集上,相比当前最优方法HINT,所提方法在低掩码比例(0.01%~20%)下PSNR提升0.32%,SSIM提升0.75%,L1降低11.7%;在Places2数据集上,相比当前最优方法MxT,在中高掩码比例(20%~60%)下PSNR提升1.85%~1.89%,SSIM提升1.76%~2.6%,LPIPS降低9%~36.7%。实验表明,该方法在保持视觉质量的同时有效提升了图像修复的定量指标。