基于视觉语言大模型的多模态虚假新闻检测OA

随着社交媒体平台传播的信息量呈指数级增长,虚假新闻检测成为信息鉴伪领域的关键任务。当前研究方法聚焦于单一模态的语义分析,未能有效地解决多模态新闻的跨模态语义矛盾问题。现有模型决策过程可信度不足,缺乏可解释的辅助信息支撑。针对上述问题,提出一种面向多模态新闻的视觉语言大模型检测框架。首先,引入视觉语言大模型推理新闻内容,通过生成图文描述集来增强检测的可解释性;其次,设计多粒度协同注意力机制,实现文本、图像,以及辅助描述的多粒度特征对齐。采用多模态视觉语言大模型Qwen2.5-VL作为新闻解释性工具,设计新闻提示模板,引导模型对新闻图像提取关键对象和场景要素,利用模型的语言生成能力增强新闻文本的上下文信息,形成可解释的辅助决策依据。多粒度协同注意力融合机制以协同注意力层为基础,通过多层级特征交互,在高维语义空间中捕捉新闻图文中的潜在伪造模式。在Weibo、GossipCop和Pheme多模态虚假新闻数据集上的实验结果表明,所提模型的准确率分别为90.4%、88.1%和86.6%。