“ 挺长的一个综述，感兴趣的小伙伴看原文把
https://arxiv.org/pdf/2401.01286.pdf
近年来，大型语言模型（LLMs）在自然语言处理领域取得了显著的进展，但它们在训练过程中面临着巨大的计算需求。针对LLMs的知识编辑方法，旨在在保持整体性能的同时，高效地修改模型在特定领域的行为。
首先，作者定义了知识编辑问题，并对当前的知识编辑方法进行了全面回顾。基于教育和认知研究理论，作者将知识编辑方法划分为三类：1）依赖外部知识；2）将知识融合到模型中；3）编辑内在知识。这些方法分别对应人类认知过程中的识别阶段、关联阶段和掌握阶段。
接下来，作者介绍了一个名为KnowEdit的新基准，用于对代表性的知识编辑方法进行全面的实证评估。此外，作者还对知识位置进行了深入分析，以更深入地了解LLMs中固有的知识结构。
实验部分详细介绍了12个NLP数据集上的实验设置，并报告了各种知识编辑方法的主要结果。实验结果表明，现有的知识编辑方法在知识插入、修改和擦除方面具有较好的性能。此外，作者还研究了知识编辑对一般任务和多任务知识编辑的影响，发现知识编辑方法可以在保持模型认知能力和适应性的同时，有效地执行事实更新。
在分析部分，作者比较了不同的知识编辑方法，并探讨了LLMs中知识定位的有效性。研究发现，知识编辑过程中的知识定位往往只关注与问题实体相关的区域，而非整个事实背景。这表明LLMs可能通过回忆预训练语料库中的信息或进行多步推理来得出答案。
最后，作者讨论了知识编辑的多种潜在应用，包括高效机器学习、AI生成内容、可信赖的AI以及人机交互（个性化代理）。总之，本文为LLMs的知识编辑提供了全面的研究，旨在促进未来在该领域的高效创新。