这个春节，国产AI模型DeepSeek彻底火了！
网友们脑洞大开，用它来写春联、做寒假作业、预测春节档票房、写旅游攻略……个个丝滑流畅，玩得不亦乐乎！
自1月20日DeepSeek-R1模型横空出世后，仅用不到一周时间就陆续登顶苹果App Store和谷歌Play Store全球下载榜首。这款应用在发布后的前18天内下载量达到1600万次，几乎是ChatGPT首次发布时900万次的两倍。这把“火”也直接烧疼了硅谷，让美股科技板块、英伟达股价大跌，老黄都坐不住了。
最近几天，百度智能云、华为云、阿里云、腾讯云、360数字安全等平台也纷纷接入了DeepSeek大模型。以往想用ChatGPT的小伙伴苦于没有渠道，不妨试试国产DeepSeek！然而，你在使用过程中是不是经常看到“服务器繁忙，请稍后再试”？那该如何解决呢？一起跟随「小奇」去本地部署一个吧！
首先说说本地部署的好处，那可太多了，具体如下：
1. 响应更快更稳定 ：本地部署减少了对外部网络的依赖，避免了因网络拥堵或延迟导致的卡顿和响应缓慢，使用起来更加流畅。
2. 模型随心定制 ：可以根据自己的实际需求对模型进行深度定制和优化，让模型更贴合具体的应用场景，提升性能和适用性。
3. 数据更安全 ：数据在本地环境中处理，无需上传至云端，大大降低了敏感信息泄露的风险，对数据安全有更高要求的用户来说，这是关键优势。
4. 成本更低 ：本地部署后，可实现无限使用，无需支付昂贵的云服务订阅费用，长期来看能有效降低使用成本。
5. 灵活切换 ：用户可以自由选择和切换不同的模型，灵活应对各种多样化的应用需求，不受单一模型限制。
6. 离线无忧 ：部署完成后，即使没有网络连接，也能正常使用模型功能，随时随地都能满足你的需求。
01
运行配置需求
如果电脑的显存不达标，就需要量化来减少显存的需求。比如你的电脑是 8GB，想用 7b 参数的模型，就需要量化。量化后，就可以使用 7b 的大模型了。这是各个显卡型号的显存大小， 可以参考下。
下面是大模型给的，运行 DeepSeek 模型显卡和 MacOS 运行内存的需求，一会儿下载的时候，小伙伴可以根据自己电脑的配置，来选择下载哪一个大小的模型。
如何查看自己电脑的配置，这里以 Windows11 为例，鼠标移动到任务栏处，鼠标右键，就会出现两个选项。
然后点击「任务管理器」，选择第二个「性能」图标，这里就能看到你电脑的配置，有 CPU、内存、磁盘、网络、GPU 等。
点击 GPU 窗口，「专用 GPU 内存」对应的上表需求就是「显存」，小伙伴们看到「显存」大小以后，下载对应的模型就可以了，不建议下载超过所需显存的模型，否则会非常卡，甚至崩溃！！！
02
安装下载工具及模型
• 我们在部署本地大模型的时候，需要有第三方的工具来承接，比如插件、终端、桌面端，这里就拿几个经典的工具举个例子，LM Studio 、Chatbox AI 和 Ollama。
• 为什么需要第三方软件来做承接，因为开源大模型，他不是应用程序或者 App，双击或者安装好就可以运行的，需要第三方的平台来作为中转。
• 比如你下载的大模型就是一块生肉，第三方平台就像是一个烤箱，可以加热肉，然后食用，如果没有第三方平台承接，你得自己找锅、开火、调温度，还可能把肉烤糊，很麻烦！
• 然后每个第三方平台都有各自的优势，这里说说区别， LM Studio、Chatbox AI 提供图形化界面，操作简便，适合初学者和非技术用户；而 Ollama 依赖命令行操作，适合有技术背景的用户。
• 这篇是小白指南篇，我们都来操作一遍，先讲一下 Ollama+Chatbox AI 网页版需要设置网络环境，后续部署私人知识库也会用到，LM Studio + 魔搭社区不需要设置环境，且有量化模型。
• 看大家的选择，小白推荐 LM Studio + 魔搭社区 这个搭配。
（1）Ollama 介绍
简单来说，Ollama 可以让你在自己的电脑上轻松运行 AI 语言模型，无需连接云端或配置复杂环境。它的优点如下：
-
简单易用 ：安装好 Ollama 后，即可在本地运行 AI 模型，无需额外配置。
-
支持离线使用：无需联网，即可使用 AI 功能，确保数据隐私安全。
-
兼容不同系统：支持 Windows、Mac 和 Linux 系统，跨平台运行。
-
多种 AI 模型可用：可以下载并运行多种 AI 语言模型，如 DeepSeek、Llama 等。
-
适合开发者和普通用户：开发者可以用它训练或微调 AI 模型，普通用户也能用于聊天、写作、翻译等。
（2）下载 Ollama
在下载页面，根据自己电脑的操作系统进行选择。我的电脑是Windows系统，所以我直接点击了「Download For Windows」按钮，然后就可以顺利下载啦！
下载完成后，找到下载文件夹，定位到刚刚下载的Ollama安装文件。你会看到一个带有“羊驼”图标🦙的文件，双击它就可以开始安装啦！
点击「Install」按钮开始安装。安装程序会自动将Ollama安装到C盘，安装过程中无法更改磁盘位置。如果需要安装到其他位置，可以在安装完成后手动更改。
安装完成后，桌面不会自动生成图标哦。不用担心，你可以点击桌面右下角的任务栏箭头，展开隐藏的图标栏，就能看到Ollama已经在运行啦！
（3）更改磁盘
在下载大模型之前，建议先修改Ollama下载模型的默认位置，因为Ollama默认将模型文件保存在C盘，容易导致C盘空间不足。以下是修改模型位置的具体步骤：
第一步，快捷键 Win+S 搜索 「高级系统设置」并点击「高级系统设置」
第二步，点击 「高级」 栏目下的 「环境变量」
在弹出的界面中，第三步是点击下方的「新建」按钮。接着，在弹出的对话框中，变量名输入「OLLAMA_MODELS」（这一步一定要准确无误）。
然后点击「浏览目录」按钮，选择你打算存放模型的磁盘，最好是固态硬盘（SSD），因为它的读写速度快，能提升模型运行效率。
选好磁盘后，点击「新建目录」按钮，输入文件夹名字，比如「ollama_models」（文件夹名字可以随意取）。设置完成后，点击「确定」按钮即可！
由于Ollama程序默认安装在C盘，而C盘很容易空间不足，所以需要手动将相关文件夹移到其他磁盘，比如D盘。
具体操作如下：首先，在你选择的磁盘（最好是固态SSD）上创建一个文件夹，我这里创建了一个名为「Ollama」的文件夹，然后在这个「Ollama」文件夹里再创建3个子文件夹。
在创建的「Ollama」文件夹中，需要设置三个子文件夹：一个用于存放程序文件（比如命名为「exe」），一个用于存放日志文件（比如命名为「logs」），还有一个用于存放大模型文件（必须命名为「models」，因为之前已经设置了环境变量）。除了「models」文件夹的名称不能更改外，其他两个文件夹的名字可以根据你的喜好随意命名，只要你自己清楚每个文件夹的用途就行。
接下来，找到Ollama默认的安装文件夹（通常在C盘），将里面的所有内容复制到刚刚创建的对应文件夹中。
C:\Users\Administrator\.ollama 是 Ollama 用来放大模型的文件夹
C:\Users\Administrator\AppData\Local\Ollama 是 Ollama 用来日志的文件夹
C:\Users\Administrator\AppData\Local\Programs\Ollama 是 Ollama 的程序文件夹
在将这些文件夹的内容转移到新的位置后，一定要记得删除C盘上原来的文件夹。否则，在后续操作中可能会遇到报错，比如提示“文件已存在”或“路径冲突”等问题，这会影响后续的安装或设置流程。
好的！为了确保程序运行不受影响，同时避免C盘空间被占用，我们可以使用「软连接」来解决这个问题。软连接可以被理解为一种“快捷方式”，它允许我们在不同的路径下访问同一个文件或目录，而不会占用额外的存储空间。
通过创建软连接，我们可以让程序仍然“认为”文件还在C盘，但实际上它们已经被移动到了其他磁盘位置。这样既节省了C盘空间，又保证了程序的正常运行。
软连接的作用如下：
• 类似快捷方式：就像Windows中的快捷方式一样，点击一下就能直接打开真正的文件或文件夹。
• 不占用额外空间：不会复制文件本身，只是创建一个“指路牌”，告诉系统文件的实际位置。
• 可以跨盘符：可以将C盘的文件或文件夹“指向”D盘、E盘，甚至网络上的文件夹，而硬链接无法做到这一点。
• 避免重复存储：多个程序或用户都可以通过软连接访问同一个文件，避免了重复拷贝文件，节省存储空间。
• 可能失效：如果目标文件被删除或移动，软连接就会失效，就像快捷方式指向的文件被删除后无法打开一样。
这里要用到「命令提示符」窗口，使用快捷键 Win + R 调出「运行」，输入「cmd」，调出「命令提示符」窗口，输入下列这三行指令：
mklink /D C:\users\Administrator\.ollama D:\Ollama\models
mklink /D C:\users\Administrator\AppData\Local\Ollama D:\Ollama\logs
mklink /D C:\users\Administrator\AppData\Local\Programs\Ollama D:\Ollama\exe
如果出现「权限」提示，用「管理员模式」运行「命令提示符」。右键点击「命令提示符」，选择 「以管理员身份运行」，就可以解决。
命令行解释如下：
mklink /D C:\users\Administrator\.ollama D:\Ollama\models
mklink：Windows 创建链接的命令。
/D：表示创建目录（文件夹）的软连接。
C:\users\Administrator\.ollama：这是要创建的软链接路径，也就是“快捷方式”的位置。
D:\Ollama\models：这是目标文件夹，即实际存储数据的目录。
这条指令的作用：
• 任何对 C:\users\Administrator\.ollama 的访问操作，实际上都会被重定向到 D:\Ollama\models 目录中。也就是说，你在 C:\users\Administrator\.ollama 里查看、修改或删除文件时，这些操作其实是在 D:\Ollama\models 里完成的。
• 这个软链接可以让软件或脚本误以为 .ollama 目录还在C盘，但实际上数据已经存储在D盘上了，从而节省C盘空间。
适用场景：
• 节省C盘空间：如果 C:\users\Administrator\.ollama 目录占用空间过大，你可以把它移到D盘，然后通过软链接让系统误以为它还在C盘。
• 跨盘访问：Ollama可能会默认在 C:\users\Administrator\.ollama 存储模型数据，但你可以通过软链接把它放到D盘，避免占用C盘空间。
• 兼容性：某些应用或脚本可能要求 .ollama 目录必须在 C:\users\Administrator，但你可以通过软链接把它存到D盘，绕开这个限制。
如果觉得有点复杂，不用担心，直接按照步骤执行就行！
完成软链接设置后，你可以去对应的文件夹查看一下。比如在放大模型的文件夹（比如 C:\users\Administrator.ollama），你会看到一个带有快捷方式图标的小文件夹。点击这个文件夹，就能直接访问实际存储在D盘（比如 D:\Ollama\models）的大模型文件啦！
好的！现在「软连接」已经设置好了，你可以用同样的方法把其他占空间的软件文件夹也转移到其他磁盘，再也不用担心C盘空间不足啦。
接下来，顺便检查一下Ollama是否安装成功。在「命令提示符」窗口中输入以下命令：ollama -v
注意：-v 和 ollama 之间有一个空格，-v 之后不需要再加任何内容。
如果安装成功，命令提示符会显示Ollama的版本信息，这样就说明一切正常啦！
如果在「命令提示符」窗口中输入 ollama -v 后，显示的是类似「ollama version is xxx」的信息，那就说明Ollama安装成功啦！你可以放心使用啦。
（4）下载模型
要下载大模型，可以打开Ollama官网：https://ollama.com/，然后点击页面上方的「Models」按钮。
打开Ollama官网后，你会发现不仅有DeepSeek模型，还有很多其他模型可供选择。如果你对其他模型感兴趣，也可以尝试下载和部署。不过，这里我们以DeepSeek-r1为例来进行部署。
点击「deepseek-r1」后，页面会显示该模型的详细介绍。接着，点击页面上的下拉按钮，你会看到不同参数版本的原模型，这些模型都是未经过量化的。
根据你的显存大小来选择合适的模型版本：如果显存较小，建议选择1.5b版本；如果显存中等，可以选择7b或8b版本。具体的显存需求可以参考页面上提供的显存需求表，以确保所选模型能够在你的设备上顺利运行。
选择好适合你显存的模型参数后，页面上会有一个复制按钮，点击它就可以将对应的命令复制到剪贴板啦。
复制好命令后，回到「命令提示符」窗口。你可以点击鼠标右键，或者按下 Ctrl+V，将刚才复制的命令粘贴到命令行中。
接着，按下键盘的回车键，程序就会开始下载大模型了。下载过程可能会有点慢，需要耐心等待一下，直到模型下载完成。
下载完成后，你可以在命令行窗口看到类似这样的提示信息，表示下载已经成功完成。
（5）使用
下载完成后，界面会出现一个「Send a message」的提示框，这时候就可以直接输入对话内容进行测试啦。比如你可以输入一句简单的问题，像“发烧可以吃炸鸡吗？”看看模型回复的效果如何。
如果想退出对话模式，可以在「Send a message」处输入「/？」来获取帮助信息。根据提示，输入「/exit」就可以退出当前对话界面了。
如果想继续对话，只需要重新输入之前下载模型时使用的命令，比如「ollama run deepseek-r1:1.5b」。其实到这里，本地部署就已经成功啦！（1.5b是最低的开源版本，效果可能会稍差一些，建议根据自己的显卡配置尽量选择更高版本，效果会更好哦！）
不过，看到这么多指令，没有计算机基础的小伙伴们是不是感觉有点懵？我第一次看到的时候也有这种感觉，头都快大了，感觉脑子要升级了 😂
• /set 设置会话变量，比如可以调整模型的参数或者其他配置。
• /show 显示当前加载的模型信息，可能包括模型名称、版本、参数等。
• /load <model> 加载一个会话或模型，<model> 代表你要加载的模型或会话名称。
• /save <model> 保存当前的会话，<model> 代表保存的会话名称，以便后续加载继续使用。
• /clear 清除当前的会话上下文，相当于重置对话，让模型忘记之前的交互内容。
• /bye 退出程序，终止会话。
• /? 或 /help 获取某个命令的帮助信息，相当于查看使用说明。
• /? shortcuts 显示键盘快捷键的帮助信息，可能包括一些快速操作的方法。
• 使用 """ 可以开始多行消息，这通常适用于输入较长的内容或代码片段。
命令行窗口操作起来确实不太方便，尤其是复制和粘贴信息的时候，对于普通用户来说更是如此。我们更希望能有一个直观的聊天界面，这样使用起来会更加便捷。为此，我们可以借助 Chatbox AI 这个工具，它能够很好地承接 Ollama，并且让聊天窗口变得可视化。
Chatbox AI 是一款全平台的 AI 客户端应用，支持多种先进的 AI 模型和 API，包括 Ollama 提供的模型。它可以在 Windows、MacOS、Android、iOS、Linux 和网页版上使用，界面简洁，功能强大。通过 Chatbox AI，你可以轻松地与 AI 模型进行交互，无需复杂的命令行操作。
ChatBox AI 官网：https://chatboxai.app/zh
我们先来配置网络环境。首先，找到电脑右下角的任务栏箭头，点击展开隐藏的图标。找到Ollama的图标（看起来像个小羊驼🦙），然后点击「Quit Ollama」来退出Ollama。这样就可以开始下一步配置啦！
接下来，进入「高级系统设置」，在「高级」选项卡下找到「环境变量」并点击。在弹出的界面中，直接点击「新建」按钮。
在弹出的「新建系统变量」对话框中，填写变量名「OLLAMA_HOST」（注意大小写和下划线必须完全一致），变量值填写为「0.0.0.0」，这表示允许任何IP地址访问Ollama服务。填写完成后，点击「确定」按钮完成设置。
继续点击「新建」，在弹出的对话框中，填写变量名「OLLAMA_ORIGINS」（注意大小写和下划线必须完全一致），变量值填写为「*」，这表示允许所有来源访问Ollama服务。填写完成后，点击「确定」按钮完成设置。
最后，在环境变量列表中，你会看到新增的两个词条「OLLAMA_HOST」和「OLLAMA_ORIGINS」。确认无误后，点击「确定」按钮保存所有设置，这样网络环境就配置完成了。
环境配置完成后，我们来启动Ollama。首先，点击「开始」菜单，搜索「Ollama」并点击它。启动后，点击桌面右下角的「隐藏图标按钮」，查看任务栏图标。如果看到有羊驼的图标，说明Ollama已经成功启动。
环境设置完成后，打开刚刚从官网下载的Chatbox AI进行安装并启动。首次打开时，会看到一个选择页面，选择第二个选项「使用自己的API Key或本地模型」，接着选择「Ollama API」，这样就可以让Chatbox AI连接到本地部署的Ollama服务了。
接下来，会再次弹出「设置」窗口。点击「Model」选项卡，如果环境配置成功，这里会显示「deepseek-r1:1.5b」。如果没显示，说明环境可能没有配置好，或者可以尝试退出Ollama后重新启动，再次检查配置是否生效。
接着，在设置窗口中找到第二个选项「DISPLAY」，在这里选择语言。默认情况下，它已经设置为简体中文了。确认无误后，点击「保存」按钮完成设置。
完成上述设置后，你就可以真正开始使用本地部署的DeepSeek模型进行聊天了。现在，你可以通过Chatbox AI的界面与DeepSeek模型进行交互，享受更稳定、更快速的AI体验。
好的！目前我们已经成功完成了基础环境版的本地部署教程，可以开始使用DeepSeek进行普通聊天了。虽然这个版本暂时不支持上传文档，但不用担心，后续我会详细介绍一个功能更强大的部署版本，它不仅操作简单，还能支持文档上传等多种功能。敬请期待！
顺便告诉大家一个好消息！
如果你也对AI工具和创新应用感兴趣，不妨来和我一起玩转AI吧！
小奇这边准备了一套超实用的【AI学习资料 】，更有Deepseek学习资料免费获取喔！！！添加微信免费送给你哦~！还可以加入我们的【AI交流群 】，
认识更多热爱AI的小伙伴，一起交流、一起进步！👇👇👇
AI破局免费公开课
给大家分享一个好消息！我们准备了【AI破局三天实战营】，三天直播干货满满哦~既有普通人用AI副业逆袭的真实案例，也有最火的AI数字人带货、AI写作等实操技巧分享。想了解AI赚钱新机会的朋友们，千万别错过！现在扫码就能【免费】参加，抓紧时间上车啦！ 👇👇👇
副业项目资料
嘿！想开启新的赚钱机会吗？来看这里！我们的 【全网副业项目库】 每天都会更新超多靠谱的副业项目，总有一款适合你！快戳下方图片了解详情， 现在添加微信还可以免费体验1天哦！ 赶快行动吧！👇👇👇
往期推荐
● 用AI制作洗脑英语单词视频，36天涨粉44万粉丝！附教程