点击下方
卡片
,关注“
慢慢学AIGC
”
前言
前文《DeepSeek 本地部署——蒸馏版、量化版和满血版实测效果对比》我们对比了 DeepSeek 三种不同模型的效果,由于篇幅限制,并未介绍如何一步步搭建环境过程。本文将作为补充。
我们按照由易到难的顺序,同时推荐初学者按这个顺序由浅入深认识大模型部署的方法。硬件条件不具备的情况下可以跳过相应内容。本文为第一篇,主要介绍 DeepSeek 蒸馏版模型本地部署方法,后续还有两篇分别介绍量化版和满血版。
1、DeepSeek 蒸馏版模型回顾
何谓“蒸馏版”模型?在《DeepSeek-R1:通过强化学习激励大语言模型的推理能力》中介绍过,
为使高效小模型(如 Qwen、Llama)具备类似 DeepSeek-R1 的推理能力,DeepSeek 直接使用 RL 训练后的模型生成的 80 万条样本对开源模型进行监督微调,即“知识
蒸馏”,显著提升了小模型的推理能力。
从 HuggingFace
页面能看到
蒸馏版模型的身影(带 Distill 字样):
HuggingFace 链接:
https://huggingface.co/collections/deepseek-ai/deepseek-r1-678e1e131c0169c0bc89728d
Ollama 模型列表中也可看到蒸馏版模型(1.5b~70b):
Ollama 链接:
https://ollama.com/library/deepseek-r1/tags
运行蒸馏版模型对硬件配置要求不高,适合初学者。最小的 1.5b 蒸馏版模型甚至可以跑在手机上!
视频来源:
https://www.youtube.com/watch?v=Uuc-NJbmzwg
看到这里大家可能会问 Ollama 是什么?为什么这么强?
Ollama 是一个开源项目,专注于简化大型语言模型(LLMs)的本地运行与部署。 官网链接:https://ollama.com/ 。该软件 完全免费 ,建议大家都通过官网下载,避免遇到各种“李鬼”版收费软件。Ollama
支持 macOS,Linux,Windows 等平台,支持 LLaMA、DeepSeek、Phi、Mistral 和 Qwen 等开源模型一键启动。
下载后的文件名为 Ollama-darwin.zip,解压后得到一个 Ollama.app 文件,如下图所示:
将它拷贝到系统应用目录即完成安装过程。
笔者运行 Ollama 的环境为 Macbook Air,处理器为 Apple M3, 内存 16 GB ,可以运行前面 DeepSeek 蒸馏版模型中的 1.5b~14b 版本 。对于更高配置的硬件可以尝试更大的模型版本。
macOS 上打开一个终端软件(如 iTerm2),运行:
ollama run deepseek-r1:1.5b
第一次运行需要下载权重,后面运行直接本地加载,速度会快很多。
如果打印和上图一致,说明 Ollama 部署蒸馏版 DeepSeek 成功。
当我们需要退出并关闭 Ollama 时,命令行输入:
/bye
即可退出。
2、Open WebUI 接入 Ollama
前一节使用命令行方式启动并运行 Ollama,界面较为简陋,不支持联网搜索。我们接下来介绍如何安装 Open WebUI 并接入 Ollama 本地部署的 DeepSeek 蒸馏版模型,达到类似 ChatGPT 的聊天体验。
Open WebUI 是一款可扩展、功能丰富且用户友好的自托管人工智能平台,专为完全离线运行而设计。它支持多种大型语言模型运行器(如 Ollama 和 OpenAI 兼容 API ),并内置面向 RAG(检索增强生成)的推理引擎,堪称强大的 AI 部署解决方案 。
Open WebUI 官网:
一键安装步骤(需要 Python 3.x):
pip install
open
-webui
一键启动 WebUI:
open
-webui serve
当显示如下输出时,说明 WebUI 已正常启动:
这时可以打开浏览器,输入 localhost:8080 即可进入 WebUI。
首次运行需要设置管理员账号和密码,注意保管好,后面有用。
正常登录后界面如下:
点击上方模型列表,可以看到所有本地已经部署的模型种类。
我们选择 deepseek-r1:1.5b 进行对话。
如上图所示,可以看到模型思考过程,说明部署成功。
3、如何让本地部署模型具备联网能力
接下来我们为模型增加联网能力。
点击左下角用户
图标,
在弹出的菜单中选择“
管理员
面板”
:
依次点击“设置”-“联网搜索”,
按照下图设置即可
回到主界面,在对话框下侧把“联网搜索”按钮点亮,即可使用联网搜索功能:
我们问一个和当前时事相关的问题:
以上输出说明本地部署的 Ollama 模型具备了联网搜索能力。
4、小结
本文为 DeepSeek 本地部署最佳实践系列文章的
第一篇,主要介绍 DeepSeek 蒸馏版模型本地部署方法,基于 Ollama + Open WebUI 实现了类似 ChatGPT 的体验,支持联网搜索
。
Open WebUI 还有很多功能,例如图片输入,语音输入,实时打电话,代码解释器等,限于篇幅不再展开,感兴趣的同学可以自行尝试,至于效果,见仁见智(^_^)。
扫描下方
二维码
,关注“
慢慢学AIGC
”