AI实践之Plan B:本地搭建运行环境(2)

容器大模型数据库
如果前天按照指南已经完成ollama的本地安装,那可以继续往本地环境“添砖加瓦”了。






今天来搞定ollama的兄弟,Open WebUI。这个项目原来是ollama的辅助工程,但是后来发展壮大了,便从ollama项目中剥离出来。名字也从ollama-webui改成了Open WebUI。

picture.image

01.

环境准备

由于这个小兄弟,是真开源,只提供了代码。连Windows上的可执行程序都没有直接提供。所以要来使用,就有一些依赖。






最容易运行的方式是容器运行,那就有必要费事说一下,容器咋设置的。


各位朋友,如果Windows下没有使用WSL子系统,那就只能用docker官方提供的docker desktop了。


picture.image

下载完双击安装,不出意外就算准备好环境了。但意外总也会在不经意间来到。因为某些博主不好直接说的原因,国内实际上运行起来之后,是没法运行镜像的。






当然也不是没有办法解决,修改一下镜像registry就可以了。例如,增加一个mirror地址 https://docker.xuanyuan.me 。当测试运行"docker run hello-world",可以正常下载并运行输出信息,就说明一切正常啦。





自此,所需的环境也就准备妥当了。补充说明一下:如果上述mirror添加之后还无法拉取镜像,可以添加文末微信号,私信博主后,会全量给出能用的mirror地址。也不是博主自私,而是镜像随时都有可能失效,保不齐这篇博文里提到的就已经不能用了。所以只能经常维护,才能让大家不浪费不断尝试的时间。

02.

运行并配置模型

能走到这一步的,想必已经是一位非常勤奋的读者了,是真的在按照步骤进行搭建。那么接下来,可就轻松很多了。运行以下命令
  
docker run -d -p 3000:8080 \  
-e OLLAMA_BASE_URL=你的OLLAMA服务地址 \  
-v open-webui:/app/backend/data \  
--name open-webui --restart always \  
ghcr.io/open-webui/open-webui:main
比如,博主是将ollama运行在mac mini主机上的。地址为http://192.168.0.150:11434,而你可能是同一台机器,那么填入http://localhost:11434即可。






等拉取界面结束,容器就运行起来了Open WebUI。

picture.image

这时,使用浏览器打开http://localhost:3000 ,就进入了使用界面。

picture.image

创建账户并登录后,左上角模型选择我们之前下好的deepseek-r1:7b,就可以开始对话了,还可以上传文件,响应速度还是很快的:

picture.image

其他的设置,都可以通过界面点击右上角的设置。基本上支持的功能都能在此进行设置。

picture.image

03.

简要特性介绍

🚀 轻松设置:使用 Docker 或 Kubernetes (kubectl, kustomize 或 helm) 无缝安装,享受无忧体验。

🤝 OpenAI API 集成:无缝集成 OpenAI 兼容的 API,与 Ollama 模型一起进行多功能对话。自定义 API 基础 URL 以链接 LMStudio, Mistral, OpenRouter 等。

✒️全面支持 Markdown 和 LaTeX:通过全面的 Markdown 和 LaTeX 功能提升你的 LLM 体验,丰富交互。

📚 本地 RAG 集成:通过开创性的检索增强生成(RAG)支持,深入未来的聊天交互。这项特性将文档交互无缝集成到你的聊天体验中。你可以直接将文档加载到聊天中,或轻松将文件添加到你的文档库中,使用提示中的 # 命令轻松访问它们。

⚙️ 多模型对话:轻松与多个模型同时互动,利用它们的独特优势获得最佳响应。通过并行利用多样化的模型集增强你的体验。

总结

经过配置Open WebAI,我们再也不用在命令行窗口非常不便的使用ollama来运行模型了。更多高级玩法,比如调用公共服务的API之类的,留待读者去探索吧。

如果你对AI的发展感兴趣,欢迎一键三连。有任何问题可以扫码添加好友,我们共同探讨。

picture.image

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
火山引擎大规模机器学习平台架构设计与应用实践
围绕数据加速、模型分布式训练框架建设、大规模异构集群调度、模型开发过程标准化等AI工程化实践,全面分享如何以开发者的极致体验为核心,进行机器学习平台的设计与实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论