DeepSeek 本地部署最佳实践(一):Ollama+Open WebUI + 蒸馏版

大模型向量数据库云安全

点击下方

卡片

,关注“

慢慢学AIGC

picture.image picture.image

picture.image

前言

前文《DeepSeek 本地部署——蒸馏版、量化版和满血版实测效果对比》我们对比了 DeepSeek 三种不同模型的效果,由于篇幅限制,并未介绍如何一步步搭建环境过程。本文将作为补充。

我们按照由易到难的顺序,同时推荐初学者按这个顺序由浅入深认识大模型部署的方法。硬件条件不具备的情况下可以跳过相应内容。本文为第一篇,主要介绍 DeepSeek 蒸馏版模型本地部署方法,后续还有两篇分别介绍量化版和满血版。

1、DeepSeek 蒸馏版模型回顾

何谓“蒸馏版”模型?在《DeepSeek-R1:通过强化学习激励大语言模型的推理能力》中介绍过,

为使高效小模型(如 Qwen、Llama)具备类似 DeepSeek-R1 的推理能力,DeepSeek 直接使用 RL 训练后的模型生成的 80 万条样本对开源模型进行监督微调,即“知识

蒸馏”,显著提升了小模型的推理能力。

从 HuggingFace

页面能看到

蒸馏版模型的身影(带 Distill 字样):

picture.image

HuggingFace 链接:

https://huggingface.co/collections/deepseek-ai/deepseek-r1-678e1e131c0169c0bc89728d

Ollama 模型列表中也可看到蒸馏版模型(1.5b~70b):

picture.image

Ollama 链接:

https://ollama.com/library/deepseek-r1/tags

运行蒸馏版模型对硬件配置要求不高,适合初学者。最小的 1.5b 蒸馏版模型甚至可以跑在手机上!

视频来源:

https://www.youtube.com/watch?v=Uuc-NJbmzwg

看到这里大家可能会问 Ollama 是什么?为什么这么强?

Ollama 是一个开源项目,专注于简化大型语言模型(LLMs)的本地运行与部署。 官网链接:https://ollama.com/ 。该软件 完全免费 ,建议大家都通过官网下载,避免遇到各种“李鬼”版收费软件。Ollama

支持 macOS,Linux,Windows 等平台,支持 LLaMA、DeepSeek、Phi、Mistral 和 Qwen 等开源模型一键启动。

picture.image

下载后的文件名为 Ollama-darwin.zip,解压后得到一个 Ollama.app 文件,如下图所示:

picture.image

将它拷贝到系统应用目录即完成安装过程。

picture.image

笔者运行 Ollama 的环境为 Macbook Air,处理器为 Apple M3, 内存 16 GB ,可以运行前面 DeepSeek 蒸馏版模型中的 1.5b~14b 版本 。对于更高配置的硬件可以尝试更大的模型版本。

macOS 上打开一个终端软件(如 iTerm2),运行:


        
            

          
 ollama run deepseek-r1:1.5b
 
        
      

第一次运行需要下载权重,后面运行直接本地加载,速度会快很多。

picture.image

如果打印和上图一致,说明 Ollama 部署蒸馏版 DeepSeek 成功。

当我们需要退出并关闭 Ollama 时,命令行输入:


        
            

          
 /bye
 
        
      

即可退出。

2、Open WebUI 接入 Ollama

前一节使用命令行方式启动并运行 Ollama,界面较为简陋,不支持联网搜索。我们接下来介绍如何安装 Open WebUI 并接入 Ollama 本地部署的 DeepSeek 蒸馏版模型,达到类似 ChatGPT 的聊天体验。

picture.image

Open WebUI 是一款可扩展、功能丰富且用户友好的自托管人工智能平台,专为完全离线运行而设计。它支持多种大型语言模型运行器(如 Ollama 和 OpenAI 兼容 API ),并内置面向 RAG(检索增强生成)的推理引擎,堪称强大的 AI 部署解决方案 。

Open WebUI 官网:

https://docs.openwebui.com/

一键安装步骤(需要 Python 3.x):


        
            

          
 pip install 
 open
 -webui
 
        
      

一键启动 WebUI:


        
            

          
 open
 -webui serve
 
        
      

当显示如下输出时,说明 WebUI 已正常启动:

picture.image

这时可以打开浏览器,输入 localhost:8080 即可进入 WebUI。

首次运行需要设置管理员账号和密码,注意保管好,后面有用。

正常登录后界面如下:

picture.image

点击上方模型列表,可以看到所有本地已经部署的模型种类。

picture.image

我们选择 deepseek-r1:1.5b 进行对话。

picture.image

如上图所示,可以看到模型思考过程,说明部署成功。

3、如何让本地部署模型具备联网能力

接下来我们为模型增加联网能力。

点击左下角用户

图标,

在弹出的菜单中选择“

管理员

面板”

picture.image

依次点击“设置”-“联网搜索”,

按照下图设置即可

picture.image

回到主界面,在对话框下侧把“联网搜索”按钮点亮,即可使用联网搜索功能:

picture.image

我们问一个和当前时事相关的问题:

picture.image

picture.image

以上输出说明本地部署的 Ollama 模型具备了联网搜索能力。

4、小结

本文为 DeepSeek 本地部署最佳实践系列文章的

第一篇,主要介绍 DeepSeek 蒸馏版模型本地部署方法,基于 Ollama + Open WebUI 实现了类似 ChatGPT 的体验,支持联网搜索

Open WebUI 还有很多功能,例如图片输入,语音输入,实时打电话,代码解释器等,限于篇幅不再展开,感兴趣的同学可以自行尝试,至于效果,见仁见智(^_^)。


扫描下方

二维码

,关注“

慢慢学AIGC

picture.image

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
字节跳动 XR 技术的探索与实践
火山引擎开发者社区技术大讲堂第二期邀请到了火山引擎 XR 技术负责人和火山引擎创作 CV 技术负责人,为大家分享字节跳动积累的前沿视觉技术及内外部的应用实践,揭秘现代炫酷的视觉效果背后的技术实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论