一种基于因果关系的减轻大语言模型幻觉的方法OA

大语言模型LLMs的出现是生成式人工智能的一个里程碑,其在文本理解和生成任务中取得了显著的成功。尽管LLMs在许多下游任务中取得了巨大的成功,但它们也存在严重的幻觉问题,对LLMs的实际应用是重大的挑战。虽然基于Transformer的LLMs中的自注意力机制是一个重要的模块,但现有文献很少从自注意力机制的角度探讨LLMs的幻觉现象。为填补这一研究空白,从因果关系的角度研究了这个问题。具体而言,提出了一种方法,在不改变LLMs结构的情况下,禁用自注意力层。实验禁用多个开源LLMs中的不同自注意力层,在幻觉评估基准上对这些干预后的LLMs进行了评估,并将其幻觉程度与原始模型进行比较。实验结果表明,禁用LLMs前部或尾部的一些特定自注意力层可以缓解幻觉问题。