基于检索增强与提示压缩的LLM性能优化方法OA

针对检索增强语言模型中检索文档冗长导致的上下文膨胀、位置敏感性和信息干扰问题,提出一种高效的性能优化方法检索-压缩建模(RCM)框架,由检索器、压缩器和语言模型三个模块组成。该框架首先从外部知识库检索相关文档,然后使用任务无关型压缩模块对检索内容进行语义保持压缩,最后将压缩后的信息与用户输入拼接作为模型输入。在Wikitext-103语言建模和Natural Questions、TriviaQA开放域问答任务上的实验表明,RCM可将检索内容压缩至原始长度的5%~10%,在语言建模任务中,相较未压缩版本性能下降不超过1%,同时显著降低计算成本和推理延迟;在问答任务中,即使在高压缩率下,性能下降通常控制在10%内。压缩机制在缓解冗余干扰、提升注意力资源利用率方面表现有效,为资源受限或对响应延迟敏感的应用场景提供了切实可行的解决方案。