一种多模态协同学习的变电设备缺陷识别方法OA

为解决变电设备缺陷识别任务中多谱段图像融合特征学习不鲁棒难题,提出了一种融合语义增强与模态特征解耦的多模态协同学习方法。该方法引入具备语义理解能力的大模型DeepSeek,对红外与紫外图像的语义标注进行分析与补充,丰富标注中蕴含的语义信息表达;设计了模态共享与模态特有两个特征提取模块,通过共享查询向量和特有查询向量分别建模两种模态间的共性特征和差异特征,以提升多模态特征表示能力;引入特征对齐损失和模态解耦损失,分别用于增强模态间共享特征的一致性和抑制冗余信息干扰。实验结果表明,该方法在变电设备缺陷识别任务中优于现有主流方法,消融实验及可视化结果进一步验证了其在多模态协同学习方面的有效性。结论可为多模态融合表征学习方法及应用提供参考。