随着人工智能应用的实时性、隐私性和安全性需求增大,在边缘计算平台上部署高性能的神经网络成为研究热点。由于常见的边缘计算平台在存储、算力、功耗上均存在限制,因此深度神经网络的端侧部署仍然是一个巨大的挑战。目前,克服上述挑战的一个思路是对现有的神经网络压缩以适配设备部署条件。现阶段常用的模型压缩算法有剪枝、量化、知识蒸馏,多种方法优势互补同时联合压缩可实现更好的压缩加速效果,正成为研究的热点。本文首先对常用的模型压缩算法进行简要概述,然后总结了“知识蒸馏+剪枝”、“知识蒸馏+量化”和“剪枝+量化”3种常见的联合压缩算法,重点分析论述了联合压缩的基本思想和方法,最后提出了神经网络压缩联合优化方法未来的重点发展方向。
宁欣;赵文尧;宗易昕;张玉贵;陈灏;周琦;马骏骁;
中国科学院半导体研究所,北京100083合肥工业大学微电子学院,安徽合肥230009中国科学院前沿科学与教育局,北京100864南开大学人工智能学院,天津300071
计算机与自动化
神经网络;压缩;剪枝;量化;知识蒸馏;模型压缩;深度学习
《智能系统学报》 2024 (001)
P.36-57 / 22
国家自然科学基金项目(62373343);北京市自然科学基金项目(L233036)。
10.11992/tis.202306042
评论