基于知识图谱的问答系统，BERT做命名实体识别和句子相似度 - 文章 - 开发者社区

picture.image

向AI转型的程序员都关注了这个号 👇👇👇

人工智能大数据与深度学习公众号：datayx

引言

了解知识图谱的基本概念，也做过一些demo的实践，毕竟是做问答方向的，所以就比较关注基于知识图谱的问答。其实构建知识图谱的核心在于命名实体识别和关系抽取，围绕这两个方面也有很多细致的工作，比如如何解决实体的歧义，进行实体消歧；如何进行多关系的抽取等。从最近各大公司举行的比赛，我们也可以看出来，今年的主要工作就在这上面，这也是技术落地的一个重要标志。最近也在捣鼓BERT，想着就将基于KB的QA流程撸一遍，于是就有了这个demo。

项目地址：

关注微信公众号 datayx 然后回复问答即可获取。

AI项目体验地址 https://loveai.tech

数据集介绍[1]

NLPCC全称自然语言处理与中文计算会议（The Conference on Natural Language Processing and Chinese Computing）,它是由中国计算机学会（CCF）主办的 CCF 中文信息技术专业委员会年度学术会议，专注于自然语言处理及中文计算领域的学术和应用创新。

此次使用的数据集来自NLPCC ICCPOL 2016 KBQA 任务集，其包含 14 609 个问答对的训练集和包含 9 870 个问答对的测试集。并提供一个知识库，包含 6 502 738 个实体、 587 875 个属性以及 43 063 796 个三元组。知识库文件中每行存储一个事实( fact) ，即三元组 ( 实体、属性、属性值) 。各文件统计如下：、

picture.image

原数据中本只有问答对（question-answer），并无标注三元组（triple)，本人所用问答对数据来自该比赛第一名的预处理

https://github.com/huangxiangzhou/NLPCC2016KBQA

构造Triple的方法为从知识库中反向查找答案，根据问题过滤实体，最终筛选得到，也会存在少量噪音数据。该Triple之后用于构建实体识别和属性选择等任务的数据集。

问答对样例如下所示：

picture.image

技术方案

基于知识图谱的自动问答拆分为2 个主要步骤:命名实体识别步骤和属性映射步骤。其中，实体识别步骤的目的是找到问句中询问的实体名称，而属性映射步骤的目的在于找到问句中询问的相关属性。

picture.image

命名实体识别步骤，采用BERT+BiLSTM+CRF方法（另外加上一些规则映射，可以提高覆盖度）
属性映射步骤，转换成文本相似度问题，采用BERT作二分类训练模型

技术细节

命名实体识别

构造NER的数据集，需要根据三元组-Enitity 反向标注问题，给数据集中的Question 打标签。我们这里采用BIO的标注方式，因为识别人名，地名，机构名的任务不是主要的，我们只要识别出实体就可以了，因此，我们用B-LOC, I-LOC代替其他的标注类型。

picture.image

属性映射

构造测试集的整体关系集合，提取+去重，获得 4373 个关系 RelationList；

一个 sample 由“问题+关系+Label”构成，原始数据中的关系值置为 1；

从 RelationList 中随机抽取五个属性作为 Negative Samples；

picture.image

模型总体架构

1、实体检索：输入问题，ner得出实体集合，在数据库中检索出与输入实体相关的所有三元组

2、属性映射：bert分类/文本相似度

非语义匹配：如果所得三元组的关系(attribute)属性是输入问题字符串的子集(相当于字符串匹配)，将所得三元组的答案(answer)属性与正确答案匹配，correct +1
语义匹配：利用bert计算输入问题(input question)与所得三元组的关系(attribute)属性的相似度，将最相似的三元组的答案作为答案，并与正确的答案进行匹配，correct +1

目前这2个是一起做的，更注重的是测试性能，所以并没有像Retrieval QA那样做召回+排序，其实修改一下很简单，也就那回事。

总结

目前不足

在命名实体识别的时候，进行eval，最后的结果是nan，如下：

picture.image

当然，predict是没有什么问题的。

反思

其实用question和attribute进行一个相似度计算做排序是有缺陷的，毕竟question的句子明显更长，语义明显比attribute更丰富，单拿attribute进行匹配有种断章取义的感觉，所以不提倡，但是也适用。
在用BERT online做命名实体识别的时候，速度有点慢，如何提高线上速度是个问题。

picture.image