LLM知识编辑实测与总结！ - 文章 - 开发者社区

知识编辑(Knowledge Editing)原因：

LLM基于特定时间范围的数据训练的，知识有滞后性，而现实中的知识是在不断变化的，比如“2024的XXX比赛冠军是谁？”；
通过直接微调将新知识编码到预训练的LLM中需要重新训练LLM，可能需要大量的计算资源，并且存在破坏与更新模型无关的有价值的预训练知识的风险；
RAG获取外部知识需要有一整套的解决方案系统，搜索、切片、粗排、精排、问答等等，成本也不小；
知识编辑：

通过精确定位和编辑相关参数来对模型中存储的事实知识进行外科手术更新。

picture.image

实测的结论：

经过知识编辑后，虽然可能在一定程度上提升效果，但这种效果并 非绝对可靠 ，因为答案可能并不总是符合预期；
知识的形式，主要是类似于 知识图谱中的三元组 ，比如<埃菲尔铁塔，设计者，古斯塔夫·埃菲尔>；
知识编辑的范围 限定在预定范围的 ，基本没有对其他知识产生影响；
本次实验是抛砖引玉，有兴趣的小伙伴可以使用 EasyEdit 进一步实验。


          
Knowledge Editing方法汇总：
          
FT: Fine-Tuning with constraint
          
SERAC: Mitchell et al. Memory-based
          
IKE: Ce Zheng et al. In-Context Editing
          
MEND: Mitchell et al. Hypernetwork
          
KN: Damai Dai et al. Locate then Edit
          
ROME: Kevin Meng et al. Locate and Edit
          
MEMIT: Kevin Meng et al. Locate and Edit

前不久“ 大模型知识编辑综述 ”也挂出来了，有兴趣的小伙伴可以详细看看：


          
论文题目：Knowledge Editing for Large Language Models: A Survey
          
论文链接：https://arxiv.org/abs/2310.1621

picture.image

可靠性示例


Prompt	KE之前	KE之后

Lahti Town Hall是谁设计的？

Lahti Town Hall由
Pekka Lappalainen
与Eero Lundén设计

Alfred Lahti 与 Eliel Saarinen
设计

Marl Young去世时住在哪个城市？	他出生在
New York
，一直住在那里直到去世。	New Orleans, Louisiana
Denny Herzig在足球打什么位置?	体育记者和广播员	职业足球运动员

PS：红色代表编辑之后 回答正确 ；蓝色代表编辑后 回答错误 。

局部性示例


Prompt	KE之前	KE之后
Eiffel Tower是谁设计的？
Gustave Eiffel
Gustave Eiffel
Messi在足球中扮演什么角色?	前锋	前锋
居里夫人在哪个城市去世的?	Paris, France	Paris, France

PS：可靠性示例中编辑的内容， 没有影响 上述三个Prompt的答案。