基于深度模糊知识蒸馏的多变量时间序列预测模型OA
多变量时间序列在交通流量、气象监测等领域广泛存在,其特征间存在复杂的时空依赖关系和高度不确定性,传统机器学习模型难以有效捕获潜在模式。尽管近年来的深度学习方法在预测精度上取得了显著提升,但往往依赖于庞大的网络结构与高计算开销,限制了在实时或资源受限场景中的应用。为解决以上问题,提出了一种新的用于时序预测的轻量级深度模糊知识蒸馏模型(Takagi-Sugeno-Kang with deep fuzzy knowledge distillation,TSK-DFKD)。具有强大表达能力的教师模型将深度暗知识迁移到轻量级的学生模型,从而降低预测成本。在学生模型中,首次利用具有不确定知识处理能力的模糊推理网络,有效应对时序数据的不确定性。在蒸馏过程中,引入了教师有界损失来替代传统的交叉熵损失,以实现知识蒸馏下的高效时序数据预测。在5个公开数据集上进行了实验,与9个最先进的基线模型相比,本文所提方法预测性能更优,效率更高。
蒋云良;余梅丽;金森洋;申情;张雄涛
湖州师范大学信息工程学院,浙江湖州313000 浙江省全省智能教育技术与应用重点实验室,浙江金华321004 浙江师范大学计算机科学与技术学院,浙江金华321004湖州师范大学信息工程学院,浙江湖州313000 浙江省全省智能教育技术与应用重点实验室,浙江金华321004湖州师范大学信息工程学院,浙江湖州313000 浙江省全省智能教育技术与应用重点实验室,浙江金华321004湖州师范大学信息工程学院,浙江湖州313000 浙江省全省智能教育技术与应用重点实验室,浙江金华321004湖州师范大学信息工程学院,浙江湖州313000 浙江省全省智能教育技术与应用重点实验室,浙江金华321004
信息技术与安全科学
注意力机制多变量时间序列知识蒸馏时序预测TSK模糊系统教师有界损失深度学习时间注意力空间注意力
《智能系统学报》 2026 (3)
P.639-650,12
国家自然科学基金项目(62376094)国家自然科学基金区域创新发展联合基金重点支持项目(U22A20102)浙江全省智能教育技术与应用重点实验室开放研究基金项目(2025ZNJYKF003)。
评论