基于多粒度信息融合的多模态文档要素提取OA

随着信息技术的飞速发展,多模态文档广泛存在于金融、法律、医疗、教育等众多领域,例如在教育领域的学生成绩单、考试卷、教学大纲,以及金融领域的合同文件、招投标文件等垂直领域文档中。这些文档中包含了宝贵的学习、教学、商业和法律信息,如学生姓名、成绩、课程名称、合同条款、投标金额等。因此,实现视觉信息丰富文档的自动信息提取技术,将极大地提升各行业的工作效率和质量,促进相关领域的智能化发展。为此,针对视觉信息丰富文档理解中的信息抽取任务,提出了多粒度融合图神经网络实体识别方法,并探究了阅读顺序对信息抽取效果的影响。首先,构建了token粒度和bounding box粒度的图神经网络,并利用图注意力网络对文档结构进行建模。其次,针对OCR识别结果可能存在的阅读顺序错乱问题,设计了一种基于bounding box坐标排序的算法,构建出人类阅读文档的顺序。最后,在多个公开数据集上进行了实验,结果表明,提出的模型和方法在语义实体识别和关系抽取任务上均取得了显著的性能提升,验证了方法的有效性。