基于深度学习的无人机影像建筑立面修复方法OA

无人机拍摄影像过程中,建筑立面受其他地物的遮挡,导致所获二维影像中建筑立面不完整,多数现有三维重建方法无法有效修复由遮挡带来的结构和纹理错误。为此,本文从二维影像建筑立面修复的角度考虑,将三维建筑模型的修复转化为二维修复的问题,提出一种基于深度学习的无人机影像建筑立面修复方法。首先结合分割一切模型(SAM)和边缘优化等操作获取二维影像中的建筑遮挡物区域;然后采用基于傅里叶卷积的分辨率鲁棒的大掩模修复网络(LaMa)对建筑遮挡物区域进行修复;在得到多幅已修复影像基础上,采用本文提出的基于梯度信息的最优纹理视图选择方法构建最优纹理视图集合以参与后续重建,以便重建得到的结果在不同视角下具有一致性;最后进行多视几何重建,完成模型修复。仿真和真实实验结果表明,本文方法能够通过在单视图给出的提示下移除三维建筑立面遮挡以恢复完整的三维建筑立面纹理,解决三维建筑立面缺失问题,重建更精细的建筑模型。