基于提示学习与侧信息嵌入的轻量化跨模态复杂场景下的行人重识别OA
针对CLIP迁移至行人重识别时存在的语义差异、深层特征噪声与结构冗余问题,本文提出轻量化侧信息增强的跨模态重识别模型Lite_SIE_CLIPReID.模型采用图像流与文本流双分支:图像流以ViT-B/16为骨干,通过侧信息嵌入,将相机/视角信息仅注入[cls]令牌,以增强场景感知并减少对局部细节令牌的干扰;同时基于残差分支与注意力输出的归一化熵差异,提出熵驱动结构简化策略,将FFN扩展因子由4倍降至2倍,在兼容预训练权重的前提下降低参数量与计算开销,并抑制噪声传播.文本流采用可学习提示生成器构造身份专属语义token,输入冻结的CLIP文本编码器以避免知识遗忘.训练阶段结合双分支特征学习与轻量化BN颈部,联合优化分类、三元组与跨模态对齐损失.实验表明,该方法在Occluded-Duke上mAP与Rank-1分别提升0.9%和1.2%,并且在标准数据集上保持竞争力,验证了侧信息嵌入与熵分析轻量化的有效性.
王桂宝;赵颖幸;卢锦;王书振
陕西科技大学电子信息与人工智能学院,陕西西安710021陕西科技大学电子信息与人工智能学院,陕西西安710021陕西科技大学电子信息与人工智能学院,陕西西安710021西安电子科技大学计算机科学与技术学院,陕西西安710071 陕西零幺黑科技有限公司,陕西西安712046
信息技术与安全科学
计算机视觉行人重识别CLIP遮挡
《陕西科技大学学报》 2026 (5)
P.226-234,9
国家自然科学基金项目(61772398,62101313)陕西省秦创原“科学家+工程师”队伍建设项目(2024QCY-KXJ-168)。
评论