微软LazyGraphRAG来了,700倍成本压缩!

向量数据库大模型数据库

微软最新又改版了一波GraphRAG,这波把知识图谱丢了,只剩下无向图了。

带来的优势是:

  • LazyGraphRAG 数据索引成本与向量 RAG 相同,且为全图 RAG 成本的 0.1%。
  • 对于与向量 RAG 相当的查询成本,LazyGraphRAG 在局部查询中优于所有竞争方法,包括LongRAG 和 GraphRAG DRIFT 搜索以及 GraphRAG 局部搜索。
  • 相同的 LazyGraphRAG 配置在全局查询方面也显示出与 GraphRAG 全局搜索相当的答案质量,但查询成本降低了 700 多倍。
  • 对于 GraphRAG 全局搜索的 4%查询成本,LazyGraphRAG 在本地和全局查询类型上,包括 C2 级别的 GraphRAG 全局搜索(大多数应用推荐的三级社区层次)上,显著优于所有竞争方法。

picture.image 图 1. 展示 LazyGraphRAG 在(100,500,1,500)相关性测试预算下,相对于每个(局部,全局)查询和(全面性,多样性,赋权)指标组合的竞争条件下的胜率簇状柱状图

二者区别:

  • 放弃实体关系抽取(关系太吃token了),抽取概念,构建无向概念图。再次基础上,层次化社区构建

  • 放弃社区报告,推理时处理

  • query做sub-q,做遍历,涉及到一些排序的策略,比如根据文本块的相关性去筛选社区。然后又判断社区的前k个文本块的相关性,决定是否要去筛选子社区。 大概就是没有社区报告了,从文本来入手了。

  • 生成答案差不多,map-reduce, 每个sub-q针对检索结果,生成结果,最后总结结果。picture.image

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
如何利用云原生构建 AIGC 业务基石
AIGC即AI Generated Content,是指利用人工智能技术来生成内容,AIGC也被认为是继UGC、PGC之后的新型内容生产方式,AI绘画、AI写作等都属于AIGC的分支。而 AIGC 业务的部署也面临着异构资源管理、机器学习流程管理等问题,本次分享将和大家分享如何使用云原生技术构建 AIGC 业务。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论