首页|期刊导航|南京邮电大学学报(自然科学版)|基于YOLO-World的公共安全场景细粒度实时行为识别算法

基于YOLO-World的公共安全场景细粒度实时行为识别算法OA

中文摘要

针对公共安全监控中细粒度行为检测存在的零样本泛化弱、小目标检测精度低、行为语义理解难等挑战,文中提出一种融合视觉大模型指导与动态上下文感知的通用实时检测算法,以YOLO-World为基础,集成DINOv3骨干网络以增强特征表示能力,并引入动态上下文感知模块(DCAFE)强化对行为关键部件及其空间关系的建模。通过设计属性导向的文本语料库构建方法和三阶段渐进训练策略,协同优化检测、语义对齐与特征蒸馏目标。在以吸烟行为为典型任务的验证中,该算法在监督学习下mAP@0.5达95.58%,在零样本条件下跨场景mAP@0.5提升至84.6%,较预训练YOLO-World提升近19倍,并显著优于CLIP,同时保持281 FPS的实时速度。在翻墙、斗殴、违规用手机等不同行为任务上,零样本mAP@0.5可达89.7%,F1-Score达到0.589,少样本微调后可达93.2%,F1-Score达到0.788。结果表明,该算法为公共安全场景下的细粒度行为实时识别提供了高效、通用的技术路径。

车少帅;张超;贾卓涵;余大权;陈涛;汤晓宇;季一木

南京邮电大学计算机学院,江苏南京210023 中电鸿信信息科技有限公司,江苏南京210005南京邮电大学计算机学院,江苏南京210023南京邮电大学波特兰学院,江苏南京210023中电鸿信信息科技有限公司,江苏南京210005中电鸿信信息科技有限公司,江苏南京210005中电鸿信信息科技有限公司,江苏南京210005南京邮电大学计算机学院,江苏南京210023 国家高性能计算中心南京分中心,江苏南京210023 江苏省高性能计算与智能处理工程研究中心,江苏南京210023

信息技术与安全科学

细粒度行为检测YOLO-World零样本学习视觉大模型多模态融合吸烟检测

《南京邮电大学学报(自然科学版)》 2026 (5)

P.121-130,10

国家重点研发计划(2023YFB2904000,2023YFB2904004)江苏省重点研发计划(BE2023004-2)中国电信江苏公司2025年产学研合作项目(JSSGS2500832EGN00)江苏省研究生科研与实践创新计划(SJCX25_0337)资助项目。

10.14132/j.cnki.1673-5439.2026.05.013

评论