向AI转型的程序员都关注公众号 机器学习AI算法工程
在上一篇文章中,我们说了怎么在本地部署DeepSeek
。对本地部署DeepSeek
感兴趣的小伙伴看过来。
本地部署 DeepSeek:小白也能轻松搞定!
解决DeepSeek服务器繁忙问题
三:最为推荐
一、用户端即时优化方案
网络加速工具
1.推荐使用迅游加速器或海豚加速器优化网络路径,缓解因网络拥堵导致的连接问题。以迅游为例:
- 启动加速器后搜索"DeepSeek"专项加速
- 输入口令DS111可领取免费加速时长(海豚加速器适用)
2.清理浏览器缓存与切换设备
- 在Chrome/Firefox中清理缓存(设置→隐私和安全→删除浏览数据)
- 尝试手机APP访问或使用无痕模式(Chrome按Ctrl+Shift+N)
3.错峰使用策略
避开工作日早晚高峰(10:00-12:00, 19:00-22:00),建议在凌晨1:00-6:00使用
二、高级技术方案
本地化部署
通过海豚加速器或迅游的「一键本地部署」功能实现:
-
选择本地部署工具后自动安装模型
-
部署完成后直接在终端对话(需30GB以上存储空间)
API调用与第三方平台
-
通过硅基流动、秘塔AI等平台调用DeepSeek模型(需注册账号)
-
使用AnythingLLM等开源工具搭建私有数据库5
三、替代方案与平替工具(最推荐简单好用)
若问题持续存在,可考虑以下替代服务:
用加速器本地部署DeepSeek
使用加速器本地部署DeepSeek的完整指南
一、核心原理与工具选择
通过加速器实现本地部署的本质是:利用网络优化工具解决模型下载/API通信问题,配合部署框架实现离线运行。当前主流方案分为两类:
三、海豚加速器+Ollama手动部署
高阶操作流程:
**加速下载模型**
```bash
ollama run deepseek-r1:7b --accelerator=dolphin # 调用海豚加速通道
启动本地服务
ollama serve # 默认端口
2. ```
**故障排查:**
- 若出现`Error: model not found`,执行:
`export OLLAMA_HOST=0.0.0.0:11434`(Linux/Mac)[4]()
- GPU未被识别时,运行:
`nvidia-smi`确认驱动状态 → 重装CUDA 12.1+[10]()
#### 四、性能优化建议
1. **硬件加速配置**
- NVIDIA用户启用CUDA加速:
```bash
ollama run deepseek-r1:7b --gpu 0 # 指定第1块GPU
AMD显卡使用ROCm:
安装ROCm 5.6+后添加--rocm参数8
内存优化技巧
调整交换分区(Linux):
sudo fallocate -l 16G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile
- Windows用户设置虚拟内存为物理内存的2倍[8]()
#### 五、部署后管理
1. **常用命令速查**
| 命令 | 功能描述 |
|--------------------------|------------------------------|
| `ollama list` | 查看已安装模型 |
| `ollama rm deepseek-r1` | 删除指定模型 |
| `ollama pull deepseek-r1:14b` | 升级模型版本 |
2. **可视化界面推荐**
- Chatbox(跨平台GUI):
下载地址:https://chatbox.space → 连接`http://localhost:11434`[4]()
- AnythingLLM(企业级):
支持多模型切换与知识库集成[7]()
**典型问题解决方案:**
- 部署后响应慢 → 检查`nvidia-smi`的GPU利用率,确认CUDA已启用
- 对话中断 → 执行`ollama serve --verbose`查看详细日志
- 存储空间不足 → 使用`ollama prune`清理旧版本模型[8]()
通过以上步骤,用户可在15分钟内完成从加速器配置到本地服务的完整部署。建议首次部署选择7B版本进行验证,后续根据实际需求升级更高阶模型。
话说回来了,为啥要本地部署呢?
① 在使用DeepSeek
中,经常会出现服务器繁忙,请稍后再试。
② 不想让个人隐私数据暴露出去
③ 可以将各种格式的文件,如pdf、csv、txt、md 格式的数据投喂给它。比如你想让 DeepSeek
了解你的公司业务,就把相关的文档上传给它。
DeepSeek
就能吃下你给它的各种“知识大餐”,然后变得更聪明,更懂你
一、RAG是什么?
为了投喂数据,我们要用到RAG。首先,我们先来了解下什么是RAG?
我们就问问昨天部署好的DeepSeek
好了。
首先我们在命令行输入:ollama run deepseek-r1:1.5b
命令,启动DeepSeek
然后打开浏览器并输入快捷键:ctrl+shift+l 调出WebUI
可视化AI界面
输入:RAG是什么?
翻译成大白话就是:我们把知识放到知识库里,然后把它投喂给人工智能。我们需要用一个量化的工具,把各种格式的数据量化给人工智能,让它能看得懂。
人工智能通过对这些知识的学习后,以后你再问它的时候,他就能将知识提取出来,加工处理后回答你的问题。
RAG 就是让 DeepSeek
不仅能靠自己的知识库回答问题,还能通过检索外部数据来增强回答的准确性和丰富性。就好比你考试时偷偷带了小抄,但 DeepSeek
是光明正大地“作弊”,还能把答案说得头头是道。
二、 拉取nomic-embed-text
刚说了RAG是啥?我们需要一个RAG工具来完成量化工作。
各种开源免费的RAG工具挺多,我们这里选择最近比较获得ollama
提供的nomic-embed-text
。
https://ollama.com/library/nomic-embed-text
我们使用上面圈出来的命令拉取即可,274M,大约1min左右就可以下完,出现【success】字样表示下载成功。
三、RAG设置
打开WebUI
界面,我们会看到一个RAG设置文本嵌入模型。
文本嵌入模型就是把我们投喂的各种文档数据量化成DeepSeek
认识的数据。
四、添加新知识
工具都准备好后,我们开始准备给DeepSeek
投喂数据......
① 投喂前不认识晓凡
在投喂数据之前,我们问问它认不认识晓凡。结果不用我说了,肯定是不知道的 😅
② 准备投喂的数据
接下来,将晓凡事先准备好的关于晓凡的简介【程序员晓凡.md】文档投喂给它,文档内容如下。
③ 投喂数据
④ 投喂完成后,已经认识晓凡了
五、其他数据投喂测试
我们准备一个【学生选课系统接口文档 V1.1.md】接口文档
按照上面方法进行投喂
接下来,我们我们让
DeepSeek
用Java语言实现【获取学生选课信息】这一接口功能
机器学习算法AI大数据技术
搜索公众号添加: datanlp
长按图片,识别二维码
阅读过本文的人还看了以下文章:
整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主
基于40万表格数据集TableBank,用MaskRCNN做表格检测
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx