基于小规模异构语言模型一致性委员会的数据剪枝方法OA

大型语言模型(LLMs)的微调效果高度依赖于训练数据的质量,但现有的基于单模型困惑度的数据评估方法存在困惑度偏差(低困惑度样本可能仍被错误预测)和跨模型分歧(不同模型对同一样本的困惑度不一致)的局限性。为此,该研究提出了一种基于异构小语言模型委员会一致性的方法,从两个方面评估数据价值:一方面计算多模型对同一数据样本的困惑度的变异系数来量化模型间分歧;另一方面结合预测结果与基准答案的相似性来计算预测难度。综合这两方面的评估结果,提出MMCS(多模型一致性)指标,用于高质量训练数据筛选。实验结果表明,基于MMCS筛选的数据在两种主流LLM和三个公开数据集上的微调性能优于传统方法,在36次对比实验中有27次取得最优效果,为高效数据剪枝提供了新的思路,证实了基于多模型分歧的评估方法在提升数据边际效益方面的有效性。