基于目标提示令牌的轻量化Transformer单目标跟踪算法OA
Transformer架构跟踪器凭借其优异的全局建模能力,在准确性方面表现突出,但仍存在模型规模庞大与计算延迟较高等问题。针对该问题,本文提出了一种基于目标提示令牌的轻量化Transformer单目标跟踪方法TPTTrack。该方法引入目标提示令牌,将其与目标模板和搜索区域特征共同输入轻量级Transformer骨干网络,利用目标先验引导跨区域特征交互,提升跟踪鲁棒性。同时,通过分层注意力解耦机制在浅层完成特征提取与融合、在深层削减冗余自注意力计算,以降低计算开销。结合轻量自回归序列预测模块,实现对目标状态的动态建模与高效估计。在GOT-10k和LaSOT数据集上的对比实验表明,TPTTrack在GOT-10k上的平均重叠率较最优轻量化基线模型提升1.4%,在LaSOT上的精度提升1.7%。同时,其参数量和FLOPs仅为5.6M和1.82G,GPU和CPU推理速度分别达到109.2 FPS和20.43 FPS,其中CPU速度较最优轻量化基线模型提升9.1%。综上,本文方法与现有轻量化跟踪算法相比,在精度、速度及部署友好性方面均表现优异,为资源受限场景下的单目标跟踪任务提供了一种轻量化方案。
朱浩然;王铮;张海峰;陈卫宁;何泽禹;吴雄志;梁思荣
中国科学院西安光学精密机械研究所,陕西西安710119 中国科学院大学,北京100049 西安飞行器光学成像与测量技术重点实验室,陕西西安710119北京宇航系统工程研究所,北京100076中国科学院西安光学精密机械研究所,陕西西安710119 西安飞行器光学成像与测量技术重点实验室,陕西西安710119中国科学院西安光学精密机械研究所,陕西西安710119 西安飞行器光学成像与测量技术重点实验室,陕西西安710119中国科学院西安光学精密机械研究所,陕西西安710119 中国科学院大学,北京100049 西安飞行器光学成像与测量技术重点实验室,陕西西安710119中国科学院西安光学精密机械研究所,陕西西安710119 中国科学院大学,北京100049 西安飞行器光学成像与测量技术重点实验室,陕西西安710119中国科学院西安光学精密机械研究所,陕西西安710119 中国科学院大学,北京100049
信息技术与安全科学
单目标跟踪Transformer轻量化模型目标提示令牌分层注意力解耦
《液晶与显示》 2026 (5)
P.754-768,15
陕西省重点研发计划(No.2025CY-YBXM-076)。
评论