基于大模型遗忘的隐私保护:方法、评估与挑战OA
随着大语言模型(LLM)在多类智能场景的广泛部署,其对训练数据的记忆能力放大了成员推理、模型反演等隐私风险,使满足“被遗忘权”等合规要求成为实际应用的关键瓶颈。模型遗忘(MU)能在训练完成后按需移除特定样本或子集的影响,是满足动态隐私删除需求的关键技术。旨在系统梳理面向大语言模型的遗忘方法,并提出一个新的分类与评估视角。针对大语言模型的特点,将现有MU方法概括为基于数据变换、参数微调、架构设计和训练范式一体化四大类,并概述其通过反向微调、参数修正、架构重构与隐私感知训练实现可遗忘性的核心机理,进一步从遗忘彻底性、模型效用保持和计算通信开销等维度构建评估框架,对各类方法的优势与适用边界进行对比分析。最后结合联邦学习(federated learning,FL)和在线服务场景,指出统一形式化定义、可验证遗忘及流式删除支持等仍是亟待突破的方向。
张磊;张强;乔俊钊;吴明熙;张宁
佳木斯大学信息电子技术学院,黑龙江佳木斯154000 佳木斯大学信息电子技术学院黑龙江省自主智能与信息处理重点实验室,黑龙江佳木斯154007 佳木斯市卫星导航技术与装备工程技术重点实验室,黑龙江佳木斯154007佳木斯大学信息电子技术学院,黑龙江佳木斯154000 佳木斯大学信息电子技术学院黑龙江省自主智能与信息处理重点实验室,黑龙江佳木斯154007 佳木斯市卫星导航技术与装备工程技术重点实验室,黑龙江佳木斯154007佳木斯大学信息电子技术学院,黑龙江佳木斯154000 佳木斯大学信息电子技术学院黑龙江省自主智能与信息处理重点实验室,黑龙江佳木斯154007 佳木斯市卫星导航技术与装备工程技术重点实验室,黑龙江佳木斯154007佳木斯大学信息电子技术学院,黑龙江佳木斯154000 佳木斯大学信息电子技术学院黑龙江省自主智能与信息处理重点实验室,黑龙江佳木斯154007 佳木斯市卫星导航技术与装备工程技术重点实验室,黑龙江佳木斯154007佳木斯大学信息电子技术学院,黑龙江佳木斯154000 佳木斯大学信息电子技术学院黑龙江省自主智能与信息处理重点实验室,黑龙江佳木斯154007 佳木斯市卫星导航技术与装备工程技术重点实验室,黑龙江佳木斯154007
信息技术与安全科学
大语言模型模型遗忘成员推理攻击隐私保护模型反演
《计算机应用研究》 2026 (7)
P.1921-1933,13
黑龙江省省属本科高校优秀青年教师基础研究支持计划资助项目(YQJH2024239)黑龙江省自然科学基金联合基金培育项目(PL2024F002)国家外国专家重点支撑项目(D20250185)黑龙江省基本科研业务费基础研究项目(2019-KYYWF-1386)。
评论