基于终端位姿感知的多模态视频抽稀算法OA
针对第一视角长时视频冗余信息多、传统抽帧难以捕获语义关键帧的问题,本文提出一种基于终端设备位姿感知的多模态大模型视频抽稀与分析算法.该方法充分利用同步获取的惯性测量单元数据、音频及视觉内容,实现多触发协同的关键帧抽取机制,通过位姿突变、语音语义触发和视觉显著性综合判定,精准捕获关键事件.在此基础上,将关键帧组织为语义片段,与位姿统计、语音转写等元信息绑定,形成适配大模型输入的“图像序列+文本描述”结构.端侧执行轻量抽稀,云侧大模型进行推理分析,实现高效协同.在自建工业端子排巡检数据集上的实验结果表明,该方法在关键帧检测准确率、语义覆盖度、压缩比及实时性上均优于对比方法.该研究为长时第一视角视频智能分析提供了高效、可部署的工程化方案.
杨静丽;戴佳维;唐钱进;马燕芹
南京工业职业技术大学,江苏南京210023南京魔数团信息科技有限公司,江苏南京210012南京魔数团信息科技有限公司,江苏南京210012南京工业职业技术大学,江苏南京210023
信息技术与安全科学
视频抽稀多模态大模型终端位姿感知第一视角视频
《南京师大学报(自然科学版)》 2026 (5)
P.119-129,11
国家自然科学基金资助项目(62503220)江苏省自然科学基金资助项目(BK20230706).
评论