MASTER:基于知识注入与意图强化的大语言模型漏洞验证代码生成框架OA

自动化漏洞验证代码(Proof of Concept,PoC)的生成在网络安全评估、漏洞修复验证以及自动化防御体系构建中扮演着至关重要的角色。尽管大语言模型(Large Language Models,LLMs)在通用领域的代码合成任务中已展现出显著的效能优势,但由于高危漏洞逻辑的复杂性以及通用大模型垂域推理能力的局限,其在面对未见漏洞(unseen vulnerabilities)时,往往难以生成逻辑严密且高质量的PoC代码。本文聚焦于垂直领域代码生成场景,提出了一种名为MASTER(mastering automated synthesis of targeted exploits via reinforcement)的自动化PoC生成框架,通过构建领域知识注入与意图强化的协同机制突破大模型面向复杂PoC代码生成任务的泛化瓶颈。本研究首先构建了融合思维链(Chain-of-Thought,CoT)增强的领域专用漏洞数据集ExploitDB-CVE-CoT;随后,通过全参数监督微调(Supervised Fine-Tuning,SFT)实现深度的领域知识注入,使模型掌握漏洞利用的基础能力;进而,创新性地引入基于AI反馈的强化学习(Reinforcement Learning from AI Feedback,RLAIF),采用群组相对策略优化(Group Relative Policy Optimization,GRPO)算法,利用外部专家大模型作为动态评估器,深度强化模型针对复杂漏洞的逻辑推理与代码生成能力。实证结果表明,虽然仅进行SFT已能将针对通用漏洞披露(Common Vulnerabilities and Exposures,CVE)场景的生成成功率显著提升至57.5%~76%区间,但单一SFT存在非目标领域的灾难性遗忘与泛化能力缺陷;而RLAIF机制在改善泛化能力缺陷和提升模型整体性能方面发挥了积极作用。最终,MASTER框架在Qwen2.5和Llama-3.1等主流模型上将高危漏洞PoC的自动生成成功率进一步提升至88.8%~95.6%,且具备针对训练集外漏洞场景的较好的泛化能力。该成果为自动化渗透测试与防御评估提供了强大的技术支撑,有效拓宽了大语言模型在强逻辑、高度专业化网络安全任务中的应用边界。