LlamaIndex发布0.10版本,重构包结构,引入LlamaHub,朝生产化、生态化迈进

MySQL小程序微服务

picture.image

LlamaIndex近日发布了v0.10.0,这是迄今为止最大更新(200万+行变更),朝着将LlamaIndex打造成为下一代、数据生产就绪的LLM应用框架迈进。该版本同langchain 0.1.0一样从构建原型应用到生产应用转变的里程碑版本,从具体更新看也和langchain相似,主要变更有:

1.创建了一个llama-index-core包,并将所有集成实现和模板定义拆分成单独的包:数百个集成(LLMs、嵌入、向量存储、数据加载器、回调、agent工具等)现在作为单独的PyPI包进行版本控制和打包,同时保留了命名空间导入:例如,可以使用from llama_index.llms.openai import OpenAI来导入一个LLM。

  • llama-index-core : 该包包含llamaindex所有核心抽象。
  • llama-index-integrations : 该包包含 19 个 LlamaIndex 抽象的第三方集成。这包括数据加载器、LLM、嵌入模型、向量存储等。
  • llama-index-packs : 此文件夹包含我们的 50 多个 LlamaPack,这些模板旨在启动用户的应用。

其他包 :

  • llama-index-legacy : 包含llama-index的遗留代码。
  • llama-index-experimental : 包含实验性功能。目前基本上未使用(外部参数调整)。
  • llama-index-finetuning : 包含 LlamaIndex 微调抽象。这些仍然是相对实验性的。

2.LlamaHub将成为所有集成实现的中心枢纽:以前的llama-hub仓库现在已经整合到主要的llama_index仓库中。与之前将集成分散在核心库和LlamaHub之间不同,现在每个集成都将在LlamaHub上列出。

3.ServiceContext被弃用:每个LlamaIndex用户都熟悉ServiceContext,随着时间的推移,它已经变成了一个笨重、不必要的抽象,用于管理LLMs、嵌入、块大小、回调等。因此,我们完全弃用了它;您现在可以直接指定参数或设置默认值。

注意:代码库升级到LlamaIndex v0.10可能会导致一些中断,主要是围绕我们的集成/打包变化,但幸运的是,我们已经包含了一些脚本来尽可能简化迁移代码库到使用LlamaIndex v0.10的过程。

更多参见:

博客文章:

https://blog.llamaindex.ai/llamaindex-v0-10-838e735948f8
修改后的 v0.10 安装指南 + 文档:

https://blog.llamaindex.ai/llamaindex-v0-10-838e735948f8
包注册表:

https://pretty-sodium-5e0.notion.site/ce81b247649a44e4b6b35dfb24af28a6?v=53b3c2ced7bb4c9996b81b83c9f01139
迁移指南:

https://pretty-sodium-5e0.notion.site/v0-10-0-Migration-Guide-6ede431dcb8841b09ea171e7f133bd77

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
在火山引擎云搜索服务上构建混合搜索的设计与实现
本次演讲将重点介绍字节跳动在混合搜索领域的探索,并探讨如何在多模态数据场景下进行海量数据搜索。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论