基于语义联合的跨模态命名实体识别OA

针对传统单模态命名实体识别(NER)方法在处理多模态信息时的局限性,提出一种基于语义联合的跨模态NER方法。不同于传统的预训练语言模型加条件随机场(CRF)的方法,提出方法将图片信息引入NER任务,并结合了图片所表达的语义。首先介绍了NER任务的研究现状;然后详细说明了提出框架的图像文本语义联合模块和双向跨模态匹配模块,其中,图像文本语义联合模块根据文本对应图像所体现的语义生成文字表达,并与原有的文本信息联合形成新的文本序列,双向跨模态匹配模块利用新生成的文本序列与图像进行跨模态匹配,这种联合图像语义和文本后进行跨模态匹配的方法不仅可以提高NER的准确性,还能够丰富命名实体的语义表示;最后在标准数据集(Twitter-2015、Twitter-2017)上进行对比实验和消融实验验证,结果证明了提出方法在NER任务中的有效性和优越性,为多模态数据中的NER任务提供了新的思路和方法。