自适应融合的多模态实体对齐方法OA

针对多模态实体对齐存在的特征融合时信息易丢失问题,以及对齐时仅关注联合实体向量导致实体无法被正确对齐的问题,提出了自适应融合的多模态实体对齐方法ADMMEA。该方法利用FastText、ResNet-152和GAT模型提取多模态实体特征,同时获取实体名称、图像和结构数据的特征表示;采用布雷-柯蒂斯(Bray-Curtis)相异矩阵与莱文斯坦(Levenshtein)距离,计算源实体与目标实体间的相似度,生成各模态的距离矩阵;通过自适应融合策略融合图文距离矩阵,将其与结构信息矩阵拼接,得到最终的融合矩阵;利用排序思想匹配对融合矩阵按照相似度分数进行降序排列实现多模态实体对齐。在DBP15K数据集的ZH-EN,JA-EN和FR-EN子数据集上进行方法实验,并将实验结果与JAPE,RDGCN,MOGNN和MIMEA等13种方法进行对比,结果表明ADMMEA在ZH-EN,JA-EN和FR-EN这3个数据集上的Hits@1指标分别达到了0.985,0.995和0.994,证明了ADMMEA方法的有效性。