如果前天按照指南已经完成ollama的本地安装,那可以继续往本地环境“添砖加瓦”了。
今天来搞定ollama的兄弟,Open WebUI。这个项目原来是ollama的辅助工程,但是后来发展壮大了,便从ollama项目中剥离出来。名字也从ollama-webui改成了Open WebUI。
01.
环境准备
由于这个小兄弟,是真开源,只提供了代码。连Windows上的可执行程序都没有直接提供。所以要来使用,就有一些依赖。
最容易运行的方式是容器运行,那就有必要费事说一下,容器咋设置的。
各位朋友,如果Windows下没有使用WSL子系统,那就只能用docker官方提供的docker desktop了。
下载完双击安装,不出意外就算准备好环境了。但意外总也会在不经意间来到。因为某些博主不好直接说的原因,国内实际上运行起来之后,是没法运行镜像的。
当然也不是没有办法解决,修改一下镜像registry就可以了。例如,增加一个mirror地址 https://docker.xuanyuan.me 。当测试运行"docker run hello-world",可以正常下载并运行输出信息,就说明一切正常啦。
自此,所需的环境也就准备妥当了。补充说明一下:如果上述mirror添加之后还无法拉取镜像,可以添加文末微信号,私信博主后,会全量给出能用的mirror地址。也不是博主自私,而是镜像随时都有可能失效,保不齐这篇博文里提到的就已经不能用了。所以只能经常维护,才能让大家不浪费不断尝试的时间。
02.
运行并配置模型
能走到这一步的,想必已经是一位非常勤奋的读者了,是真的在按照步骤进行搭建。那么接下来,可就轻松很多了。运行以下命令
docker run -d -p 3000:8080 \
-e OLLAMA_BASE_URL=你的OLLAMA服务地址 \
-v open-webui:/app/backend/data \
--name open-webui --restart always \
ghcr.io/open-webui/open-webui:main
比如,博主是将ollama运行在mac mini主机上的。地址为http://192.168.0.150:11434,而你可能是同一台机器,那么填入http://localhost:11434即可。
等拉取界面结束,容器就运行起来了Open WebUI。
这时,使用浏览器打开http://localhost:3000 ,就进入了使用界面。
创建账户并登录后,左上角模型选择我们之前下好的deepseek-r1:7b,就可以开始对话了,还可以上传文件,响应速度还是很快的:
其他的设置,都可以通过界面点击右上角的设置。基本上支持的功能都能在此进行设置。
03.
简要特性介绍
🚀 轻松设置:使用 Docker 或 Kubernetes (kubectl, kustomize 或 helm) 无缝安装,享受无忧体验。
🤝 OpenAI API 集成:无缝集成 OpenAI 兼容的 API,与 Ollama 模型一起进行多功能对话。自定义 API 基础 URL 以链接 LMStudio, Mistral, OpenRouter 等。
✒️全面支持 Markdown 和 LaTeX:通过全面的 Markdown 和 LaTeX 功能提升你的 LLM 体验,丰富交互。
📚 本地 RAG 集成:通过开创性的检索增强生成(RAG)支持,深入未来的聊天交互。这项特性将文档交互无缝集成到你的聊天体验中。你可以直接将文档加载到聊天中,或轻松将文件添加到你的文档库中,使用提示中的 # 命令轻松访问它们。
⚙️ 多模型对话:轻松与多个模型同时互动,利用它们的独特优势获得最佳响应。通过并行利用多样化的模型集增强你的体验。
总结
经过配置Open WebAI,我们再也不用在命令行窗口非常不便的使用ollama来运行模型了。更多高级玩法,比如调用公共服务的API之类的,留待读者去探索吧。
如果你对AI的发展感兴趣,欢迎一键三连。有任何问题可以扫码添加好友,我们共同探讨。