Dify 配置本地大模型保姆级教程

今天聊的是，如何将本地（个人电脑）部署的大模型对接到本地的工作流平台 Dify 中。 　

1-ollama 启动

命令行工具输入 ollama list，会显示所有在本地安装的大模型。

我的电脑已经安装了 qwen2 和 llama3.2。

  
(base) mulele@muleles-MacBook-Pro ~ % ollama list  
NAME               ID              SIZE      MODIFIED      
qwen2:latest       dd314f039b9d    4.4 GB    5 weeks ago      
llama3.2:latest    a80c4f17acd5    2.0 GB    5 weeks ago      
(base) mulele@muleles-MacBook-Pro ~ % ollama run qwen2

2-启用大模型

执行启动大模型指令　

Ollama run qwen2或者　

Ollama run llama3.2 　

通过指令直接启动已经安装的本地大模型。如果run 的是未安装的大模型，则指令会执行模型下载任务。　

我打开的是qwen2，做个简单的测试。写个 100 字的鸡汤文章。　

3-获取本地服务地址

• 模型名称：填写用ollama list命令列出来的模型名，我用的还是 qwen2，如果是其他的模型，直接替换；　

• 模型基础URL：http://host.docker.internal:11434　

　

4-测试Dify是否能正常使用

打开Dify，创建一个空白应用。　

接下来，左边输入提示词，右侧选择我们刚才配置好的本地大模型 qwen2。很好，看到对话能够正常执行了。qwen2 不愧是国货之光。　

最后，点击发布，则可以在 dify 上发布工作流了。　

发布的模式有几种，一个是直接在本地开启一个对话框。通过对话的模式调用智能体服务。　

当然，Dify也支持将智能体嵌入网站，或者将智能体作为 API，发布给其他应用调用。　

今天的分享结束了，回见。