基于MobileNet的跨任务交互与自蒸馏方法OA

针对在轻量化多任务学习模型中的任务冲突与计算效率瓶颈问题,该文提出了一种融合跨任务注意力机制与自蒸馏的多任务模型UniSynerNet。首先,在MobileNet_v2模型的共享特征提取层中引入跨任务注意力模块(Cross-Task Attention Module, CTAM),以增强不同任务间的特征交互与信息融合;其次,构建任务注意力网络(Task Attention Network, TAN),通过多层神经网络感知机(MLP)动态生成任务损失权重,实现训练过程中任务权重的自适应调整;最后,设计任务间自蒸馏机制(Inter-Task Self-Distillation, ITSD),利用各任务分支输出作为辅助指导,实现任务间的相互约束与知识共享,从而缓解多任务优化过程中的冲突。在典型农业视觉多任务应用场景的实验中,UniSynerNet相较于主流多任务学习方法取得了更优的性能表现,验证了该模型在资源受限环境下的高效性与实用价值。