https://arxiv.org/abs/2310.04408
在日益强大的大模型时代，优化性能并管理计算资源是一个关键挑战。来自德克萨斯大学奥斯汀分校和华盛顿大学的研究人员探索了一种创新策略，将检索到的文档压缩为简明的文本摘要。通过同时使用抽取式和生成式压缩器，他们的方法成功提高了语言模型的效率。 检索增强语言模型（RALMs）的效率改进是一个重点，主要集中在通过数据存储压缩和降维等技术改进检索组件。减少检索频率的策略包括选择性检索和利用更大的步幅。他们的论文“RECOMP”通过将检索到的文档压缩成简明的文本摘要，提出了一种新颖的方法。他们的方法不仅减少了计算成本，还提高了语言模型的性能。
为了解决RALMs的局限性，他们的研究引入了RECOMP（检索、压缩、前置）这一新颖方法来提高其效率。RECOMP在上下文增强之前将检索到的文档压缩为文本摘要。他们的过程利用了抽取式压缩器从文档中选择相关句子，并利用生成式压缩器将信息综合成简明的摘要。
他们的方法引入了两种专门的压缩器，一种是抽取式压缩器，一种是概括式压缩器，旨在通过从检索到的文档中创建简洁的摘要来增强语言模型（LMs）在最终任务中的性能。抽取式压缩器选择相关的句子，而概括式压缩器从多个文档中综合数据。当它们生成的摘要被添加到LM的输入时，这两个压缩器都经过训练以优化LM的性能。评估包括语言建模和开放域问答任务，并且在各种LM之间展示了可转移性。
他们的方法在语言建模和开放域问答任务上进行了评估，实现了非常高效的6%的压缩率，同时最小化性能损失，超过了标准摘要模型。抽取式压缩器在语言模型中表现出色，而概括式压缩器在最低困惑度方面表现最好。在开放域问答中，所有的检索增强方法都提高了性能。抽取式oracle表现出色，DPR在抽取式基线中表现良好。经过训练的压缩器在语言建模任务中可以在不同的语言模型之间转移。
RECOMP被引入以将检索到的文档压缩为文本摘要，提高语言模型的性能。使用了两种压缩器，抽取式和生成式。这些压缩器在语言建模和开放域问答任务中非常有效。总之，将检索到的文档压缩为文本摘要可以提高语言模型的性能，同时降低计算成本。
未来的研究方向包括与抽取式摘要器进行自适应增强，改进不同语言模型和任务上的压缩器性能，探索不同的压缩比率，考虑基于神经网络的压缩模型，对更广泛的功能和数据集进行实验，评估到其他领域和语言的泛化能力，以及整合其他检索方法（如文档嵌入或查询扩展）以增强检索增强语言模型。