0.前言
过年期间,国内技术圈最火爆的事情莫过于deepseek开源大模型的发布了,只要打开手机就能看到deepseek相关的消息。让人震惊的是,deepseek开源大模型的问世甚至让某个头部显卡企业的市值蒸发了好多个亿,那么deepseek-r1大模型是否真的有这么神奇,今天我们就在本地部署一个deepseek-r1大模型,实际体验一下吧。
1.准备工作
(1)一台Rocky8 Linux操作系统的服务器,用来部署open web ui;
(2)一台带有英伟达显卡的windows操作系统的笔记本电脑,用来部署ollama,并且用ollama管理大模型;
至于为什么用自带英伟达显卡的笔记本呢,是因为没有GPU服务器(灬ꈍ ꈍ灬),大家如果实在是找不到GPU服务器或者电脑,可以在云平台租赁GPU服务器。
2.windows系统安装ollama
ollama原生就是支持windows操作系统的,所以部署起来非常的简单,只需要在ollama官网下载exe文件,点击执行即可。
下载完成之后,会有一个OllamaSetup.exe安装文件,双击即可完成安装:
出现以下界面,说明正在执行安装:
安装完成会出现如下通知:
之后我们就可以到powershell终端,基于ollama运行deepseek-r1大模型了。
3.运行deepseek-r1
我们打开powershell终端,然后运行以下命令运行deepseek-r1大模型:
ollama.exe run deepseek-r1:1.5b
由于我的笔记本显存只有4G,按照官网推荐就用deepseek-r1:1.5b大模型,大家如果显存更大的话也可以跑其他大模型。
ollama命令和docker非常类似,会先将大模型下载到本地,然后在运行该大模型:
可以看到大模型已经下载到本地并正常运行了,我们就简单问他一个“哲学”问题“who are you?”吧:
>>> who are you?
<think>
</think>
Greetings! I'm DeepSeek-R1, an artificial intelligence assistant created by DeepSeek. I'm at your service and
would be delighted to assist you with any inquiries or tasks you may have.
4.ollama允许外部访问
ollama运行之后,默认端口是11434,我们看下端口运行情况:
netstat -ano |findstr "11434"
TCP 127.0.0.1:11434 0.0.0.0:0 LISTENING 12852
可以看到ollama只允许本机的127.0.0.1访问,我们可以在环境变量中添加以下配置让ollama允许外网访问:
(1)将OLLAMA_ORIGINS设置为"*"
(2)将OLLAMA_HOST设置为"0.0.0.0"
之后在任务管理器里面杀掉ollama相关的两个进程,再到ollama安装目录里面双击ollama app.exe运行ollama进程即可。
注意:ollama默认部署在当前用户C盘如下目录:C:\Users\user001\AppData\Local\Programs\Ollama
执行完以上步骤之后,我们再看看ollama进程运行情况:
netstat -ano |findstr "11434"
TCP 0.0.0.0:11434 0.0.0.0:0 LISTENING 17216
可以看到ollama已经可以允许外部访问了。
5.部署open web ui
open web ui可以使用docker部署,执行以下命令即可:
docker run -d -p 11433:8080 -v /data/ollama/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://10.173.105.xxx:11434 --name open-webui --restart always swr.cn-north-4.myhuaweicloud.com/ddn-k8s/ghcr.io/open-webui/open-webui:v0.5.9
这里唯一需要注意的点就是-e后面的参数OLLAMA_BASE_URL,这个是将本地ollama接入到open web ui中,所以填写的是ollama运行时的地址和端口,由于没有额外配置,首次运行容器和访问页面会请求加载官网的大模型,因为网络不通,需要等待超时,所以要花一点点时间。
首次访问页面会要求注册管理员账号,之后用管理员账号登录就可以看到如下界面了:
到此本地ai助手搭建完成,可以通过图形界面和大模型对话了。
6.总结
一个简单可用的本地ai助手就基于ollama和docker部署完成,其实ollama是一个非常强大的大模型管理工具,除了deepseek-r1以外,也能管理其他的大模型,还能运行本地的模型文件,对ai有兴趣的同学可以自行学习学习。