结构感知异构特征对齐的个性化联邦学习方法OA
Structure-aware Heterogeneous Feature Alignment for Personalized Federated Learning
个性化联邦学习旨在针对客户端特定数据分布定制模型,以应对非独立同分布带来的异质性挑战.然而,现有方法存在两类核心局限:一是客户端内特征结构不一致,局部特征分布偏差导致类内表示分散、类间边界模糊,削弱特征判别性;二是客户端间表征错位,不同客户端特征尺度差异显著,增加超参数调节难度并限制知识迁移.为克服上述问题,该文提出 SPAlign—一种基于结构感知异构特征对齐的个性化联邦学习方法,实现了客户端内结构校正与客户端间表征对齐.具体而言,结构校正阶段结合指数滑动平均与类内标准化生成感知 logit,提高类内紧凑性与判别力;表征对齐阶段通过统一统计空间映射消除跨客户端尺度差异,降低蒸馏温度敏感性.结合历史个性化模型引导,该方法在全局知识与本地特征间实现平衡.在 CIFAR-10、CIFAR-100、FMNIST 和 TinyImageNet 上的实验结果表明,SPAlign 在准确率、稳健性和个性化适应能力方面均显著优于现有方法,尤其在高异质性和大规模客户端场景下表现出更强的泛化能力和训练稳定性.
Personalized federated learning(PFL)customizes models for client-specific data,addressing challenges of non-IID distributions.Existing methods suffer from intra-client feature inconsistency,causing dispersed intra-class representations and blurred boundaries,and inter-client misalignment,where heterogeneous feature scales hinder knowledge transfer and hyperparameter tuning.To overcome these issues,we propose SPAlign,a structure-aware heterogeneous feature alignment framework.It employs intra-client structure rectification via exponential moving average and intra-class standardization to enhance feature compactness,and inter-client representation alignment through unified statistical mapping to mitigate cross-client scale differences and reduce distillation temperature sensitivity.Guided by historical personalized models,SPAlign balances global knowledge with local features.Experiments on CIFAR-10,CIFAR-100,FMNIST,and TinyImageNet show consistent improvements in accuracy,robustness,and personalization,especially under high heterogeneity and large-scale client scenarios.
吴晶;陈姚节;袁鑫;刘金鑫
武汉科技大学 计算机科学与技术学院,湖北 武汉 430065||智能信息处理与实时工业系统湖北省重点实验室,湖北 武汉 430065武汉科技大学 计算机科学与技术学院,湖北 武汉 430065||智能信息处理与实时工业系统湖北省重点实验室,湖北 武汉 430065武汉科技大学 计算机科学与技术学院,湖北 武汉 430065||智能信息处理与实时工业系统湖北省重点实验室,湖北 武汉 430065武汉科技大学 计算机科学与技术学院,湖北 武汉 430065||智能信息处理与实时工业系统湖北省重点实验室,湖北 武汉 430065
信息技术与安全科学
个性化联邦学习异构特征对齐结构感知知识蒸馏数据异质性
personalized federated learningheterogeneous feature alignmentstructure-awareknowledge distillationdata heterogeneity
《计算机技术与发展》 2026 (8)
69-77,9
湖北省自然科学基金青年B类(原青年项目)(2025AFB056)湖北省教育厅科学研究计划重点项目(D20241103)智能信息处理与实时工业系统湖北省重点实验室开放基金项目(ZNXX2023QNO3)
评论