基于改进线性注意力Transformer轻量化滚动轴承故障诊断OA

针对基于Transformer滚动轴承故障诊断算法计算复杂度随输入时间窗口呈二次增长,导致模型推理实时性能下降的问题,提出一种基于改进线性注意力Transformer轻量化故障诊断模型。提出改进线性注意力使用交换点积计算次序策略,降低二次计算复杂度;提出改进的线性注意力特征恢复模块,通过特征偏置映射函数代替Softmax全局映射,缓解使用全局接受域的计算开销,该偏置函数具有高效的特征聚焦机制,通过强化相似特征间的联系并削弱不相似特征间的耦合,展现出显著的抗噪声干扰特性;使用特征多样性恢复模块,近似获得原始自注意力全局激活后的性能,恢复对长期依赖关系的建模能力。在来自西安交通大学和渥太华大学的3个机械故障数据集上进行实验,相比CLFormer、ConvFormer-NSE、MCSwin-T、MobileNet、MobileNet-V2、ResNet18、MK-ResCNN这7种典型模型,结果表明,所提模型在准确率和实时性方面优于对比模型,同时在高噪声环境下有良好的鲁棒性。可视化特征偏置函数模块的权重信息,建立所提模型与预测结果的可解释关系。通过消融实验验证了所提模块(特征偏置函数,特征多样性恢复模块)的有效性。