Dify接入大模型【转载自官方学习手册】

大模型向量数据库云存储

点击上方蓝字关注我们 | AI时代 你不是一个旁观者

Dify 是基于大语言模型的 AI 应用开发平台,初次使用时你需要先在 Dify 的 设置 -- 模型供应商 页面内添加并配置所需要的模型。picture.image

设置-模型供应商

Dify 目前已支持主流的模型供应商,例如 OpenAI 的 GPT 系列、Anthropic 的 Claude 系列等。不同模型的能力表现、参数类型会不一样,你可以根据不同情景的应用需求选择你喜欢的模型供应商。你在 Dify 应用以下模型能力前,应该前往不同的模型厂商官方网站获得他们的 API key 。

模型类型

在 Dify 中,我们按模型的使用场景将模型分为以下 4 类:

  1. 系统推理模型 。 在创建的应用中,用的是该类型的模型。智聊、对话名称生成、下一步问题建议用的也是推理模型。

已支持的系统推理模型供应商:OpenAI、Azure OpenAI Service、Anthropic、Hugging Face Hub、Replicate、Xinference、OpenLLM、讯飞星火、文心一言、通义千问、Minimax、ZHIPU(ChatGLM)

  1. Embedding 模型 。在知识库中,将分段过的文档做 Embedding 用的是该类型的模型。在使用了知识库的应用中,将用户的提问做 Embedding 处理也是用的该类型的模型。

已支持的 Embedding 模型供应商:OpenAI、ZHIPU(ChatGLM)、Jina AI(Jina Embeddings)

  1. Rerank 模型Rerank 模型用于增强检索能力,改善 LLM 的搜索结果。

已支持的 Rerank 模型供应商:Cohere、Jina AI(Jina Reranker)

  1. 语音转文字模型 。将对话型应用中,将语音转文字用的是该类型的模型。

已支持的语音转文字模型供应商:OpenAI

根据技术变化和用户需求,我们将陆续支持更多 LLM 供应商。

托管模型试用服务

我们为 Dify 云服务的用户提供了不同模型的试用额度,请在该额度耗尽前设置你自己的模型供应商,否则将会影响应用的正常使用。

  • OpenAI 托管模型试用: 我们提供 200 次调用次数供你试用体验,可用于 GPT3.5-turbo、GPT3.5-turbo-16k、text-davinci-003 模型。

设置默认模型

Dify 在需要模型时,会根据使用场景来选择设置过的默认模型。在 设置 > 模型供应商 中设置默认模型。

picture.image

系统默认推理模型(System Reasoning Model):设置创建应用使用的默认推理模型,以及对话名称生成、下一步问题建议等功能也会使用该默认推理模型。

接入模型设置

在 Dify 的 设置 > 模型供应商 中设置要接入的模型。

picture.image

模型供应商分为两种:

  1. 自有模型。该类型的模型供应商提供的是自己开发的模型。如 OpenAI,Anthropic 等。
  2. 托管模型。该类型的模型供应商提供的是第三方模型。如 Hugging Face,Replicate 等。

在 Dify 中接入不同类型的模型供应商的方式稍有不同。

接入自有模型的模型供应商

接入自有模型的供应商后,Dify 会自动接入该供应商下的所有模型。

在 Dify 中设置对应模型供应商的 API key,即可接入该模型供应商。

Dify 使用了 PKCS1_OAEP 来加密存储用户托管的 API 密钥,每个租户均使用了独立的密钥对进行加密,确保你的 API 密钥不被泄漏。

接入托管模型的模型供应商

托管类型的供应商上面有很多第三方模型。接入模型需要一个个的添加。具体接入方式如下:

  • Hugging Face
  • Replicate
  • Xinference
  • OpenLLM

使用模型

配置完模型后,就可以在应用中使用这些模型了:

picture.image

往期内容

Dify本地化部署教程:电脑小白也能轻松上手!

dify工作流教程|以电费单分析为例详细讲解工作流编排过程(附DSL文件)

Dify工作流教程|以抓取网页并更新知识库为例详细讲解工作流编排过程(附DSL文件)

Agent智能体搭建流程|以股票分析AI助手为例详解搭建过程(Dify+DeepSeek)

dify相关资源

如果对你有帮助,欢迎点赞收藏 备用。


回复 DSL 获取公众号DSL文件资源

回复 入群 获取二维码,我拉你入群

回复 tk 获取免费token资源

👇 关注dify实验室,AI时代快人一步!

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
字节跳动 XR 技术的探索与实践
火山引擎开发者社区技术大讲堂第二期邀请到了火山引擎 XR 技术负责人和火山引擎创作 CV 技术负责人,为大家分享字节跳动积累的前沿视觉技术及内外部的应用实践,揭秘现代炫酷的视觉效果背后的技术实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论