基于结构引导的视觉文档问答OA
Structure-guided Visual Document Question Answering
视觉语言模型在处理结构复杂的文档图像时,常忽略其潜在的结构信息.针对这一问题,本文提出一种结构感知的增强型文档视觉语言模型 Struct-InternVL.该方法通过结构与布局感知变换裁剪文档图像,去除噪声并保留关键信息;随后在多尺度上引入结构信息把图像划分为多个子图,并通过共享的视觉特征提取器提取结构化视觉信息;最终将特征输入视觉语言模型完成问答.Struct-InternVL 有效融合结构与布局信息,提升了模型在复杂文档场景下的理解能力,具备小巧高效、易于集成等优势.
In most of vision-language models,underlying structural information in complex document im-ages was often ignored.To address this issue,this paper proposes a structure-aware enhanced lightweight vision-language model for documents named Struct-InternVL.Structure-and-layout-aware transformations were performed to crop document images,so that noise was removed and key information was preserved.Structural information was then introduced at multiple scales to divide the image into sub-images.Visual features were extracted from each sub-image using a shared visual encoder.Finally,the extracted features were input into a vision-language model to predict answers.By effectively integrating structural and layout information,Struct-InternVL improved performance in complex document scenarios and demonstrated ad-vantages in compactness,efficiency,and easy integration.
马文康;李宗民;刘玉杰;刘培刚
中国石油大学(华东)青岛软件学院 计算机科学与技术学院 山东 青岛 266580中国石油大学(华东)青岛软件学院 计算机科学与技术学院 山东 青岛 266580||山东协和学院 山东 济南 250107中国石油大学(华东)青岛软件学院 计算机科学与技术学院 山东 青岛 266580中国石油大学(华东)青岛软件学院 计算机科学与技术学院 山东 青岛 266580
信息技术与安全科学
文档理解视觉语言模型多尺度裁剪
document understandingvision-language modelmulti-scale cropping
《郑州大学学报(理学版)》 2026 (6)
39-46,8
国家重点研发计划项目(2019YFF0301800)国家自然科学基金项目(61379106)山东省自然科学基金项目(ZR2015FM011)
评论