MacBook 本地化部署 Dify 指南

大模型容器数据库

今天带来的是AIAgent 的另外一个流派,可以支持本地化部署的开源 AIAgent 平台Dify。

Dify 是一个开源的 LLMOps(大语言模型运营)平台,它允许开发者能够在本地快速创建和部署 AI 应用。

picture.image

Dify 和 Coze 类似,也是通过可视化的方式进行 AI 应用构建,而且支持多种大语言模型,包含 GPT-3.5 、 GPT-4 等,同时,Dify 的另外一大优势是能接入本地化部署的大语言模型。

picture.image

在应用提供上,Dify 还提供了API 接口,可以让用户非常方便的将 AI 应用集成到其他系统。在 Dify 内,还内置了数据集管理和大模型微调功能,在本地知识库管理和配置上,比 Coze 还多了保密和私有化应用的优势。

picture.image

对于AI 应用的初学者,Dify 平台的使用可以让大家更加深入了解 AI 平台的工作原理,同时,提供了将想法快速转变成 MVP 应用实践的渠道。

那么,如何进行 Dify 的本地化部署,我这里边整理边同步给大家。

简单说一下我的电脑配置:MacBookAir M1 芯片,8G+512G;

当然,如果您不想自己部署,只想体验一下,官方提供了一定的免费额度,不过额度有限,文档上传限制了 50 个,而且 RAG 的向量空间也只有 5MB 。

在线体验地址:https://dify.ai/

1-安装 Docker

先安装Docker ,Docker 是一个开源的应用容器引擎,它允许开发者打包应用以及应用的依赖环境到一个可移植的容器中。

大白话理解就是, Docker 就像一辆房车,你生活所需要的所有物品(和它需要的东西)都装进这台房车中。这样,无论你开车到哪里(不管在哪个电脑上),你都能正常的生活(软件就能正常工作)。

打开 Docker 官网(https://www.docker.com/),根据你的操作系统下载对应的安装包,然后傻瓜式无脑安装即可。

picture.image

2-Dify 私有化部署

接下来,看一下如何本地化部署。

先提供必要信息:

开源地址:https://github.com/langgenius/dify

官方文档:https://docs.dify.ai/v/zh-hans

将 dify 的源码克隆到本地。

1 、打开应用台,输入 Terminal

picture.image

picture.image

2 、输入这段指令:git clone https://github.com/langgenius/dify.git

picture.image

3-打开 Dify

完成后,进入 Docker 目录。在刚才打开的 Terminal 内输入以下指令。

  
cd dify/docker  
cp .env.example .env  
docker compose up -d

然后,在你的 Docker 里,你就能看到这样的目录。

picture.image

在你的浏览里里输入http://localhost,就能看到这样的界面:

picture.image

第一次登录,设置一下管理员账号。完成设置后,浏览器会自动跳转到登录页面,输入用户名和密码就能进入Dify 工作台。

picture.image

4-创建第一个 Dify Agent

Dify 的创建应用类型包含聊天助手、 Agent 和工作流。创作应用的方式,可以直接创建一个空白应用,也可以从应用模板力创建,或者获取到其他大佬已经创建好的 Dify 文件,直接导入。

我个人总结出来的学习方法,可以直接从别人的模板开始入手,能够了解 Dify 工作流的主要构成,先有了宏观架构,再进行探索。

这里,我选择了从应用模板创建工作流,选择了一个“ 问题分类-知识-聊天机器人 ”模板。

picture.image

如果是已经玩过 Coze 的同学,看到这个界面,会非常的熟悉。

picture.image

接下来,配置 LLM 大模型。

点击右上角的个人账户下的“设置”。

picture.image

然后点击左侧工作空间的“模型供应商”。

picture.image

可以看到,Dify 支持非常丰富的大模型(这点比 Coze.cn 好)。

picture.image

除了支持海外的大模型,Dify 几乎都能接入国内的大模型。包含讯飞星火、通义千问、文心一言,还有我特别喜欢的 Kimi 。

picture.image

接下来,看一下如何配置大模型,以 kimi为例。

到 kimi 的 api key 页面找到你的 key ,地址:https://platform.moonshot.cn/console/info。

picture.image

拷贝完成后,贴到这里来。

picture.image

回到工作流模板中,将 ChatGPT3.5 替换成刚才配置好的 kimi 。

picture.image

测试一下工作流能否正常执行。

picture.image

好的,到这里,Dify 的本地化部署完成了。可以开始您的 Dify 之旅了。

Enjoy it, have fun!

喜欢,就抬起你的小手,点个再看吧。

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
云原生可观测性技术的落地实践
云原生技术和理念在近几年成为了备受关注的话题。应用通过云原生改造,变得更动态、弹性,可以更好地利用云的弹性能力。但是动态、弹性的环境也给应用以及基础设施的观测带来了更大的挑战。本次分享主要介绍了云原生社区中可观测性相关的技术和工具,以及如何使用这些工具来完成对云原生环境的观测。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论