基于自适应时序块注意力机制的轮作玉米遥感识别模型
研究背景:玉米作为中国三大粮食作物之一,深刻影响着中国的粮食安全和国民经济发展大局。及时、准确的监测玉米轮作耕种分布,能够为发展低碳农业,推进农村生态文明建设提供支持。玉米种植户主要为小农种植,耕地破碎化程度较高、作物类型变化复杂,通过时间序列深度学习技术可以从卫星影像时间序列中提炼深层时序特征,进而减少对专家经验的依赖。当前,深度学习模型在作物识别领域中,存在跨区域、跨耕种制度时表现不佳的问题,对作物物候特征和种植制度信息的挖掘和利用不足。研究方法:基于物候时序特征,提出了一种基于自适应时序块注意力的玉米识别模型(Adaptive Patch Former),以充分提取物候光谱特征,提高模型训练效率。同时,提出自适应时序块长度优化模块,以解决需要手动设置时序块大小的问题。针对跨地域和跨种植制度的模型应用,本研究提出一种少样本模型训练方案,以削弱模型对目标区域样本数据的过度依赖。首先,将公开的大样本农作物数据集作为预训练样本,得到含有初始参数的预训练模型;随后,基于跨任务学习,实现轮作制下的玉米识别。基于上述方案,本研究利用哨兵 2号影像时序和少量标签,将模型应用至美国北部大平原和中国黄淮海平原研究区,以验证模型的分类效果。主要结论:(1)通过模型性能测试和权重可视化验证得出,自适应时序块注意力的设计在降低计算量的同时,提高了模型的收敛速度,并且能够有效地识别出轮作制玉米的关键物候期;(2)自适应时序块长度优化模块使识别精度提升了 3.2%-5.2%,所采用的少样本模型训练方案使Adaptive Path Former的精度平均提升了 8.02%,并极大的减少了模型训练对标签数据的需求;(3)将Adaptive Path Former模型通过预训练微调的训练策略,应用至美国北部大平原研究区和黄淮海平原研究区。在美国北部大平原一年一熟玉米识别任务中,Adaptive Patch Former的总体精度平均为 93.68%,比PatchTST平均提升了 5.21%,与LSTM和Transformer传统时序深度学习模型相比,精度分别提升了10.64%和7.16%。在黄淮海平原轮作制玉米识别任务中,Adaptive Patch Former平均总体分类精度为93.99%,有效区分了轮作制与一年一熟制玉米,比PatchTST精度要高出 0.19%,比LSTM和Transformer平均高出2.35%。创新点:(1)本文提出了一种基于自适应时序块注意力的玉米识别模型,将注意力单位从时间戳转变为时序块,不仅有效提取了物候光谱特征,还显著减少了模型参数量;(2)为应对跨地域和跨种植制度的模型泛化挑战,本文提出了一种少样本模型训练方案,旨在降低模型对目标区域样本数据的依赖。
评论