MSDG-VLM:基于视觉-骨架融合的复杂场景人体运动识别OA

针对复杂场景下人体运动识别中视觉-语言模型存在的多尺度特征表征不足、模态融合机制僵化及时序建模能力有限等问题,提出一种多尺度动态门控视觉-骨架融合网络(MSDG-VLM)。该模型通过层次化多尺度骨架编码器提取局部、中观与全局三级运动骨架特征,并借助动态门控机制实现自适应融合;设计自适应多模态融合模块,以门控注意力动态整合视觉外观与骨架运动信息;构建时序增强视觉编码器,结合可变形卷积与分层自注意力提升对复杂运动序列的长程时序建模能力。在NTU RGB+D 60、NTU RGB+D 120及PKU-MMD等多个公开运动识别数据集上的实验结果表明,MSDG-VLM在零样本与全监督任务中均优于现有基线模型,验证了其在复杂场景下运动识别的有效性与鲁棒性。