基于iTransformer的轻量级时序预测模型OA

针对时序预测领域难以平衡预测精度与时效性问题,以iTransformer模型为基础框架,提出一种轻量级时序预测模型ILformer。iTransformer作为基于变量的典型时序预测模型,能有效捕获多变量间复杂交互关系,但其存在计算复杂度较高与参数量较大的局限性,导致在资源受限的实际应用场景中模型难以高效部署。ILformer针对这些不足展开优化。首先,引入线性注意力机制(Linear Attention)替代传统注意力机制,使输入处理更加灵活,通过线性投影和维度重排,ILformer在减少参数量的同时,能更好地适应不同输入形状和结构,尤其在处理大规模数据时计算效率较高,并能在不降低模型精度前提下显著减少注意力模块的计算复杂度;其次,通过对注意力机制进行奇异值分解实现矩阵降维,大幅减少了矩阵乘法和加法的计算次数,提升了计算效率,同时降低了模型的过拟合风险;最后,在8个不同数据集上进行实验。实验结果表明:ILformer在保持相同精度的同时,推理速度提高了40.46%,参数量减少了78.75%,且计算量减半,展示了优异性能与实用性。