基于deepseek-r1+open web ui搭建本地ai助手

AI开放平台

0.前言

过年期间,国内技术圈最火爆的事情莫过于deepseek开源大模型的发布了,只要打开手机就能看到deepseek相关的消息。让人震惊的是,deepseek开源大模型的问世甚至让某个头部显卡企业的市值蒸发了好多个亿,那么deepseek-r1大模型是否真的有这么神奇,今天我们就在本地部署一个deepseek-r1大模型,实际体验一下吧。

1.准备工作

(1)一台Rocky8 Linux操作系统的服务器,用来部署open web ui;
(2)一台带有英伟达显卡的windows操作系统的笔记本电脑,用来部署ollama,并且用ollama管理大模型;
至于为什么用自带英伟达显卡的笔记本呢,是因为没有GPU服务器(灬ꈍ ꈍ灬),大家如果实在是找不到GPU服务器或者电脑,可以在云平台租赁GPU服务器。

2.windows系统安装ollama

ollama原生就是支持windows操作系统的,所以部署起来非常的简单,只需要在ollama官网下载exe文件,点击执行即可。

picture.image 下载完成之后,会有一个OllamaSetup.exe安装文件,双击即可完成安装:

picture.image 出现以下界面,说明正在执行安装: picture.image 安装完成会出现如下通知:

picture.image 之后我们就可以到powershell终端,基于ollama运行deepseek-r1大模型了。

3.运行deepseek-r1

我们打开powershell终端,然后运行以下命令运行deepseek-r1大模型:

ollama.exe run deepseek-r1:1.5b

由于我的笔记本显存只有4G,按照官网推荐就用deepseek-r1:1.5b大模型,大家如果显存更大的话也可以跑其他大模型。
ollama命令和docker非常类似,会先将大模型下载到本地,然后在运行该大模型:

picture.image 可以看到大模型已经下载到本地并正常运行了,我们就简单问他一个“哲学”问题“who are you?”吧:

>>> who are you?
<think>

</think>

Greetings! I'm DeepSeek-R1, an artificial intelligence assistant created by DeepSeek. I'm at your service and
would be delighted to assist you with any inquiries or tasks you may have.

4.ollama允许外部访问

ollama运行之后,默认端口是11434,我们看下端口运行情况:

netstat -ano |findstr "11434"
TCP    127.0.0.1:11434    0.0.0.0:0    LISTENING    12852

可以看到ollama只允许本机的127.0.0.1访问,我们可以在环境变量中添加以下配置让ollama允许外网访问:
(1)将OLLAMA_ORIGINS设置为"*"

picture.image (2)将OLLAMA_HOST设置为"0.0.0.0"
picture.image 之后在任务管理器里面杀掉ollama相关的两个进程,再到ollama安装目录里面双击ollama app.exe运行ollama进程即可。
注意:ollama默认部署在当前用户C盘如下目录:C:\Users\user001\AppData\Local\Programs\Ollama 执行完以上步骤之后,我们再看看ollama进程运行情况:

netstat -ano |findstr "11434"
TCP    0.0.0.0:11434    0.0.0.0:0    LISTENING    17216

可以看到ollama已经可以允许外部访问了。

5.部署open web ui

open web ui可以使用docker部署,执行以下命令即可:

docker run -d -p 11433:8080 -v /data/ollama/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://10.173.105.xxx:11434 --name open-webui --restart always swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.5.9

这里唯一需要注意的点就是-e后面的参数OLLAMA_BASE_URL,这个是将本地ollama接入到open web ui中,所以填写的是ollama运行时的地址和端口,由于没有额外配置,首次运行容器和访问页面会请求加载官网的大模型,因为网络不通,需要等待超时,所以要花一点点时间。

首次访问页面会要求注册管理员账号,之后用管理员账号登录就可以看到如下界面了: picture.image 到此本地ai助手搭建完成,可以通过图形界面和大模型对话了。

6.总结

一个简单可用的本地ai助手就基于ollama和docker部署完成,其实ollama是一个非常强大的大模型管理工具,除了deepseek-r1以外,也能管理其他的大模型,还能运行本地的模型文件,对ai有兴趣的同学可以自行学习学习。

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
大规模高性能计算集群优化实践
随着机器学习的发展,数据量和训练模型都有越来越大的趋势,这对基础设施有了更高的要求,包括硬件、网络架构等。本次分享主要介绍火山引擎支撑大规模高性能计算集群的架构和优化实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论