基于知识蒸馏的个性化差分隐私联邦学习方法OA
在联邦学习场景中,客户端本地数据集的异构性是普遍存在的挑战,且最新研究表明上传梯度会引发隐私泄露风险,如何在隐私保护与模型性能之间实现平衡成为亟待解决的问题。为了解决该问题,提出一种基于知识蒸馏与生成对抗网络的自适应分段本地差分隐私联邦学习方法,该方法通过知识蒸馏技术使客户端能够有效吸收服务器端全局模型的知识,并设计了动态权重系数调整策略,结合客户端本地数据实现个性化学习,从而构建出融合全局模型知识与本地数据特征的个性化模型。同时,引入自适应分段本地差分隐私机制,在保护上传梯度隐私的同时降低性能损失;并通过生成对抗网络扩充数据,缓解部分客户端样本稀缺问题。在CIFAR-10、CIFAR-100以及MedMNIST异构数据集上,该方法在同等隐私预算下实现了比现有最优方法高0.89%~1.9%的准确率提升,表明其在隐私保护与模型性能之间取得了更优的平衡。
王洁;彭永俊;张志举;田晶;朱建明;李洪涛
山西师范大学密码学与数据安全山西省重点实验室,山西太原030031 山西师范大学计算机科学与人工智能学院,山西太原030031山西师范大学密码学与数据安全山西省重点实验室,山西太原030031 山西师范大学计算机科学与人工智能学院,山西太原030031山西师范大学密码学与数据安全山西省重点实验室,山西太原030031 山西师范大学计算机科学与人工智能学院,山西太原030031山西师范大学密码学与数据安全山西省重点实验室,山西太原030031 山西师范大学计算机科学与人工智能学院,山西太原030031中央财经大学信息学院,北京100081山西师范大学密码学与数据安全山西省重点实验室,山西太原030031 临沂大学信息科学与工程学院,山东临沂276000
信息技术与安全科学
联邦学习异构数据本地差分隐私隐私保护
《西安电子科技大学学报》 2026 (4)
P.163-179,17
国家自然科学基金(61702316)山西省自然科学基金(20210302123338、202503021212197)。
评论