首页|期刊导航|集成技术|基于多模态大模型的细粒度动作识别研究

基于多模态大模型的细粒度动作识别研究OA

中文摘要

动作识别是视频理解的重要任务之一,其中细粒度的动作识别任务比传统的动作识别任务更具有挑战性。多模态大模型方法虽在视频理解任务上取得了较好效果,但对视频时空维度的细粒度信息关注不足,导致目前的多模态大模型方法在动作识别任务中仍然存在一定的识别偏差。针对这一问题,本文提出一种基于通用视觉大模型InternVideo2的视觉编码器改进的细粒度信息对齐和特征融合方法。首先,利用感兴趣区域特征对齐的方式,将感兴趣的局部细节区域的特征进行细粒度特征对齐和提取;其次,增加单独的视觉编码分支,根据提取出的细粒度特征对分支编码器进行微调;最后,编码过后的细粒度特征将作为补充信息,参与到后续的动作分类的分数计算中。通过以上步骤,有效提高了多模态大模型对包含细粒度信息的视频动作的识别准确率。在一系列细粒度动作识别的实验中,本文方法分别在Something-Something V1/V2数据集上取得了68.2%/73.1%的Top-1准确率,相对基准模型取得了有效提升。

熊婷;乔宇;王亚立

中国科学院深圳先进技术研究院深圳市机器视觉与模式识别重点实验室,深圳518055 中国科学院大学,北京100049中国科学院深圳先进技术研究院深圳市机器视觉与模式识别重点实验室,深圳518055 上海人工智能实验室,上海200232中国科学院深圳先进技术研究院深圳市机器视觉与模式识别重点实验室,深圳518055 上海人工智能实验室,上海200232

信息技术与安全科学

多模态大语言模型视频理解动作识别细粒度特征融合

《集成技术》 2026 (4)

P.220-234,15

广东特支计划项目(2024TQ08X365)国家自然科学基金项目(62272450)。

10.12146/j.issn.2095-3135.20260514001

评论