首页|期刊导航|南京师大学报(自然科学版)|基于文本特征对齐的多模态视频异常检测

基于文本特征对齐的多模态视频异常检测OA

中文摘要

弱监督多模态视频异常检测旨在仅利用视频级标签,通过融合视觉、音频等多模态数据,实现对视频中异常事件片段的精确识别与定位,是计算机视觉领域一项极具挑战性的任务.当前方法面临两大瓶颈:一是跨模态时序相关性建模不足,限制了异常定位的精度;二是文本提示模块多依赖固定语义,缺乏动态上下文感知,导致语义引导能力有限.为解决上述问题,提出一种基于文本特征对齐的多模态视频异常检测方法(multimodal video anomaly detection based on textual feature alignment,TFA-MVAD).该方法首先设计了一个跨模态特征融合模块,通过动态注意力机制捕捉音视频片段间的时序依赖关系,实现多模态互补信息的深度整合,从而提升关键片段的定位能力.其次,引入特征对齐模块,将预训练文本语义特征与融合后的音视频特征进行对齐,并借助对比学习策略增强跨模态语义一致性.实验结果表明,该方法在XD-Violence数据集上表现优异,与现有最佳方法相比,其平均精度(Average Precision,AP)提升了3.21%,验证了该方法的有效性.

朱文佳;伊君;侯思佳;张婷;余烨

安徽中安数科信息有限公司,安徽合肥230001黄冈师范学院计算机与人工智能学院,湖北黄冈438000合肥工业大学计算机与信息学院,安徽合肥230601合肥工业大学计算机与信息学院,安徽合肥230601合肥工业大学计算机与信息学院,安徽合肥230601

信息技术与安全科学

多模态融合文本信息特征对齐时序相关性

《南京师大学报(自然科学版)》 2026 (5)

P.93-100,8

国家自然科学基金面上资助项目(62372153)安徽省自然科学基金面上资助项目(2308085 MF216).

10.3969/j.issn.1001-4616.2026.05.010

评论