AI实践之Plan B:本地搭建运行环境(3)

容器数据库大模型
昨天的Open WebUI,不知道大家使用起来了没有?如果还有更高阶的需求等着你,那就需要用到另一款开源系统Dify,这款软件来自中国苏州的一家公司,除了提供开源版本,还提供Dify Cloud服务和自部署企业版。

picture.image

01.

环境准备和运行

同样容器是最方便使用的,如果昨天的环境你已经安装好了,那就已经准备差不多了。


但是因为Dify使用了一组容器服务,所以最好利用Docker Compose来管理,这样就无需手工去解决之间的依赖容器关系了。


去https://github.com/docker/compose 的tags页面,下载对于Docker的版本的compose执行程序 。

picture.image

下载完双击安装,不出意外就算准备好环境了。








下载https://github.com/langgenius/dify ,使用命令行进入到项目的docker子目录,将.env.example改名为.env,然后执行"docker compose up -d"

picture.image

这样就完成启动运行了,但第一次运行同样也是需要先拉取镜像的。如果网络不是太好,就需要耐心等待一会儿啦。


镜像拉取结束之后,通过portainer可以看到web,api,worker,nginx,db和redis都处于运行或者健康状态。

picture.image

02.

配置使用

本机使用浏览器访问http://localhost/apps ,进入登录注册页面。记住使用的邮箱和密码,不过真要是忘记了,也是可以重置密码的。







刚进去啥也没有,请先不要急于创建空白应用,我们把右上角用户点开后,选择"设置",就进入了设置页面。



最先要配置的是,"模型供应商"。系统默认是没有任何模型的,但是非常贴心的预设了非常多大家使用的"外部供应商"。只要鼠标移上去,显示"设置",填入账号或者Secret token之类的就行,如果一头雾水,Dify还非常贴心地给出了设置指南的链接。

picture.image

本次教程主要还是要接入本地的ollama,基础URL填入昨天教程一样的 http://localhost:11434,模型名称也跟昨天一样deepseek-r1:7b,然后保存即可。



添加完了,别忘了系统模型设置,也要修改一下,系统推理模型选择刚才配置过的deepseek。其他的模型,暂时可以不添加,点保存。这样就完成初步设置了。

picture.image

这样看起来,是不是Dify的设置要比昨天的Open WebUI要繁琐一点?但是因为Dify强大的工作流能力,后面使用起来就得心应手了,这样的繁琐还是值得的。


多说一嘴,如果有了Dify,实际上Open WebUI就可以放弃了(刚弄上就作废,找谁说理去,实在心里过不去,扫文末助手,让助手发个红包给你意思一下![picture.image](https://p3-volc-community-sign.byteimg.com/tos-cn-i-tlddhu82om/11aea795d2a249a6aa3b060d27a5c256~tplv-tlddhu82om-image.image?=&rk3s=8031ce6d&x-expires=1755412970&x-signature=BDlo87pyg9Y25iuSbbEFTZskBjE%3D))。

03.

简要介绍

现在我们来做个简单的对话应用。


点击"创建空白应用",选择最简单的"聊天助手"

picture.image

简单输入一下提示词之后,就可以进行测试了。

picture.image

可以看到deepseek即使是7b模型,回答得有模有样。先是给出了推理过程,然后再把结果输出。下面是测试的结果也附上,大家看看有没有点意思?

《上海外滩之歌》

我站在这里

看涨潮的裙角

卷起

一缕白练

云的絮语低吟

凝成

一片片轻柔的絮

长江

从东方升起

她的雾霭

在玻璃幕墙间游弋

钢体的倒影

被阳光切开

折射出

千万个问号

水面上游动着一群群

黑与白的精灵

它们的歌声在

钢铁与红灯之间回荡

我数着

那串串珠般

闪烁的光

是游轮的车轮

还是夜空的星辰?

云的倒影

渐次褪去

最后只余下

一座沉默的

金塔

博主的ollama运行在mac mini上,内存占用10G不到,耗时45秒,465tokens。

picture.image

总结

经过配置Dify,我们已经将AI学习环境完全打通。新手教程Plan B,搭建本地AI环境也完结了。但我们的征途,才刚刚开始。

如果你对AI的发展感兴趣,欢迎一键三连。有任何问题可以扫码添加好友,我们共同探讨。

picture.image

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
火山引擎大规模机器学习平台架构设计与应用实践
围绕数据加速、模型分布式训练框架建设、大规模异构集群调度、模型开发过程标准化等AI工程化实践,全面分享如何以开发者的极致体验为核心,进行机器学习平台的设计与实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论