基于持续知识蒸馏的语法错误纠正OA
平行语料的规模与质量是语法纠错模型性能的关键因素。然而,由于数据版权、隐私和竞争等问题,许多高质量语料无法公开获取,导致训练数据稀缺,进而模型性能受限。所幸目前已有部分机构开放了基于中大规模语料训练的语法纠错模型接口。鉴于此,该文提出一种基于持续知识蒸馏的语法纠错方法,利用开放的公共语法纠错模型来改进本地模型。其基本思想是利用知识蒸馏,批次化持续将公共模型的知识转移到该文的本地模型中。实验结果表明,该方法可以高效学习到被蒸馏模型的纠错能力,进而显著改善本地模型的语法纠错性能,相比基线,模型分别在NLPCC-2018、CoNLL-14测试集上F_(0.5)分数提升了1.72、1.1百分点,在JFLEG测试集上GLEU值提升了0.9百分点。此外,该模型还对恶意模型具有鲁棒性。
杨泽明;孙文状;于志强;强振平;吴鸿;朱恩昌;蒋作
云南民族大学数学与计算机科学学院,云南昆明650504云南民族大学数学与计算机科学学院,云南昆明650504云南民族大学数学与计算机科学学院,云南昆明650504西南林业大学大数据与智能工程学院,云南昆明650224曲靖师范学院信息工程学院,云南曲靖655011曲靖师范学院信息工程学院,云南曲靖655011云南民族大学数学与计算机科学学院,云南昆明650504
信息技术与安全科学
语法错误纠正持续知识蒸馏平行语料库数据稀缺知识转移
《计算机技术与发展》 2026 (7)
P.134-142,9
国家自然科学基金(62566066)中国云南省基础研究项目(202301AT070015)云南省“兴滇英才”支持计划青年人才专项(XDYC-QNRC-2023-0388)。
评论