【全网最细】从大语言模型到知识库、微信机器人的全本地部署教程,手把手教程,全程白嫖0付费,断网可用的丝滑体验!

大模型向量数据库容器

picture.image

hi~好久不见,今天为大家带来的是一篇全本地部署的教程。

从大语言模型、到知识库工作流平台、到微信机器人项目,全部本地部署并且串联起来,使你的微信机器人可以使用本地的大模型和知识库进行回复。

不谦虚的说,这应该是全网最详细的手把手教程。

我敢这么说,是因为在我自己部署的时候,遇到了几个问题,几乎翻遍了线上的所有教程,多是炫技,看似教学,实则引流,皮毛一堆,而没有一个讲关键点如何处理的。

本篇教程经过多次验证,大家可放心使用,如果遇到问题可在评论区反馈。

本篇文档较长,完整操作完成大约需要一个半小时, 建议先点个关注或收藏,防止丢失

我们需要进行部署的有以下三大部分

1、本地部署大语言模型:Ollama+Qwen2:0.5b

2、本地部署知识库工具:FastGPT+OneAPI

3、本地微信机器人部署与接入:HOOK或COW API接入


一、部署大语言模型

①、下载并安装Ollama

1、点击进入https://ollama.com/download,根据你的电脑系统,下载Ollama

picture.image

2、下载完成后,双击打开,点击“Install”

picture.image

3、安装完成后,将下方地址复制进浏览器中。如果出现下方字样,表示安装完成

http://127.0.0.1:11434/

picture.image

②、下载 qwen2:0.5b 模型 (0.5b是为了方便测试,几乎任何电脑都可以跑起来,建议先试用这个模型。全部跑通后可以更换下载更大的模型)

1、

如果你是windows电脑,

  • 点击win+R

  • 输入cmd,点击回车

    如果你是Mac电脑,

  • 按下 Command(⌘)+ Space 键打开Spotlight搜索。

  • 输入“Terminal”或“终端”,然后从搜索结果中选择“终端”应用程序。

picture.image

2、复制以下命令行,粘贴进入,点击回车:

  
ollama run qwen2:0.5b

3、回车后,会开始自动下载,等待完成

picture.image

(这里下载久了,可能会发现卡着不动,不知道下载了多少了。鼠标点击一下窗口,键盘点空格,就会刷新了)

picture.image

4、下载完成后你会发现,大模型已经在本地运行了。输入文本即可进行对话。

③、安装Docker Desktop

1、点击去下载,根据你的系统进行选择。我是Windows系统,以这个为例

https://docs.docker.com/desktop/install/windows-install/

picture.image

2、下载后,双击下载项目,出现下图,点击ok,开始加载文件。

picture.image

3、点击“close and restart”重启电脑

picture.image

4、重启后,点击:“Accept”

picture.image

5、选择第二个即可,点击"Finish"

picture.image

6、然后会进入Docker Desktop。此处完成。

picture.image

本地语言模型部署完成,继续。
二、部署本地知识库:FastGPT+OneAPI

①、部署项目

1、在桌面 按住“shift”+鼠标右键,选择“在此处打开Powershell窗口”

picture.image

2、在窗口中一行一行输入并回车:

  
mkdir fastgpt  
cd fastgpt  
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json  
curl -o docker-compose.yml https://raw.githubusercontent.com/labring/FastGPT/main/files/docker/docker-compose-pgvector.yml

3、等待上方命令执行完成,下载完成之后。不要关掉窗口

回到桌面,打开FastGPT文件夹,你会看到有两个文件

picture.image

右键docker-compose.yml文件,选择打开方式-记事本打开

picture.image

⚠️注意:这一步非常关键!

然后查找这一行:image: ghcr.io/songquanpeng/one-api:

把后缀改成v0.6.7

  
image: ghcr.io/songquanpeng/one-api:v0.6.7

改完之后保存关掉记事本。

picture.image

回到命令行窗口中,继续在窗口中一行一行输入并回车:

  
# 启动容器  
docker-compose up -d  
# 等待10s,OneAPI第一次总是要重启几次才能连上Mysql  
sleep 10  
# 重启一次oneap  
docker restart oneapi

4、等待全部执行完成。命令窗口先不关

picture.image

②、配置OneAPI

在浏览器中输入:http://localhost:3001

进入登录页,账号 root 密码 123456,点击登录.

picture.image

2、点击【渠道】-点击【添加新的渠道】

picture.image

3、类型选择Ollama,

名称:qwen2

模型:qwen2:0.5b

秘钥:sk-sky

代理:http://host.docker.internal:11434

picture.image

4、点击提交,然后回到“渠道”会发现有了qwen2的一列。点击“测试” 如果弹出,测试成功,说明大模型调通了。

picture.image

4、点击【令牌】 - 【添加新令牌】

picture.image

6、名称随意,时间设为永不过期、额度设为无限额度。点击【提交】

picture.image

7、点击【令牌】,会看到自己设置的。点击复制即可复制key。

picture.image

五、配置FastGPT

1、回到FastGPT文件夹里,依旧记事本打开“docker-compose.yml”文件,然后查找到 OPENAI_BASE_URL

Base url用这个:http://host.docker.internal:3001/v1

key:直接粘贴进去然后保存即可。

picture.image

2、在打开config.json

根据图示修改完成,然后把下边的数值先改成1500左右。

picture.image

3、回到命令窗口,在命令窗口中输入:

  
docker compose down

等待执行完成

picture.image

4、在命令窗口中输入:

  
docker compose up -d

等待执行完成

picture.image

在浏览器上输入:http://localhost:3000

账号root 密码1234,点击进入

picture.image

picture.image

设置好,别忘了点确定。

picture.image

picture.image

如果对话框测试有回复,那就是成功接入。

5、发布API,看图进行操作,然后创建一个key。

picture.image

三、本地COW或Hook机器人

以下两个项目,COW和HOOK可任选其一,建议先选择COW跑通。

①COW教程

注意:本教程完成后,程序将在你的电脑本地运行,假如你关掉了窗口,那么进程也就结束。所以,如果你想让AI持续使用,就必须保持窗口打开和运行,也就是电脑不能关。

以下教程以windows10系统为例

mac系统步骤也是一样,只是打开命令符的命令些许不同,直接把命令扔给大模型,转换成mac的命令就好了

安装环境

1、点击电脑“系统”,直接输入“cmd”,点击回车,打开命令窗口

picture.image

2、在命令窗口中,粘贴入以下代码,确认是否有python

  
python --version

3、粘贴入以下代码,确认是否有pip

  
pip --version

picture.image

4、两步命令输入完,核对一下

  • 如果有的话,会如上图一样,分别显示出版本号。那么可以跳过“安装环境这一步,直接到“二、部署项目””
  • 如果没有的话,会如下图所示,那么需要安装下边的步骤,一步一步安装。

picture.image

5、先进行python的安装,我帮你把python的安装包已经下载好了,直接点击下载:

暂时无法在飞书文档外展示此内容,公众号回复“COW”获取下载地址即可

5.1 python安装步骤:

picture.image

picture.image

5.2 关闭窗口,再次运行那两行命令 会发现已经有了。

三、部署项目

6、下载COW机器人项目,也给你准备好了,直接下载,然后解压缩。

暂时无法在飞书文档外展示此内容

7、解压后,打开COW文件夹,

8、在空白处,shift+鼠标右键,点击“在此处打开Powershell窗口”

picture.image

9、在Powershell窗口中,粘贴进入:

  
pip install -r requirements.txt

picture.image

10、等待执行完成后,继续粘贴:

  
pip install -r requirements-optional.txt

picture.image

12、上边的都执行完成后,关闭窗口。在当前目录下,找到config-template.json文件。如下图:

picture.image

13、新生成的便是配置文件,右键-- 使用记事本 打开这个文件,我画红框的地方是需要修改的地方。

*** 因为这个地方对格式和符合要求比较严格,如果是小白,建议你直接复制我下方的配置。**

picture.image

14、

  • 删除新文件里的所有代码。
  • 复制下边的代码,粘贴到文件里。
  • 找到第4行,把fastgpt生成的key,粘贴到双引号里。
  • 这也是你唯一需要修改的地方。修改完之后,点击保存,关闭文件。
  
{  
"channel_type": "wx",   
"model": "qwen",  
"open_ai_api_key": "fastgpt生成的key",  
"open_ai_api_base": "http://localhost:3000/api/v1/chat/completions",  
"text_to_image": "dall-e-3",  
"voice_to_text": "openai",  
"text_to_voice": "openai",  
"proxy": "",  
"hot_reload": true,  
"single_chat_prefix": [""],  
"single_chat_reply_prefix": "",  
"group_chat_prefix": ["@bot"],   
"group_name_white_list": ["ALL_GROUP"],  
"concurrency_in_session": 1,  
"group_welcome_msg": "",  
"speech_recognition": true,  
"group_speech_recognition": false,  
"voice_reply_voice": false,  
"conversation_max_tokens": 2000,  
"expires_in_seconds": 3600,  
"character_desc": "",  
"temperature": 0.5,  
"subscribe_msg": "",  
"use_linkai": false,  
"linkai_api_key": "",  
"linkai_app_code": ""  
}

15、保存上述文件,然后在当前文件下,找到plugins/godcmd文件夹,复制config.json.template重命名为 config.json

picture.image

16、双击config.json,进入后,设置下你的password和admin_users

可以设置为和我一样的,后边再改,点击保存后关闭。

picture.image

17、重新回到chatgpt-on-wechat/这个文件路径下,空白处右键,打开Powershell里复制粘贴进入:

  
python app.py

然后将会弹出二维码,扫码登录即可。

picture.image

picture.image

18、注意:

(1)程序将在你的电脑本地运行,假如你关掉了窗口,那么进程也就结束。所以,如果你想让AI持续使用,就必须保持窗口打开和运行。

(2)如果你发现突然不管用了,你可以点击一下窗口,然后点一下空格。因为在选中状态下,powershell窗口是不继续执行的。

(3)其他操作与服务器部署的操作一致。

②、部署Hook机器人

参考这个教程,在本地部署Hook机器人。

【喂饭级教程】基于Hook机制的微信AI机器人,无需服务器,运行更稳定,X号风险更小

部署完成后,Hook机器人本地模型接入方法是:在配置,config.json时,在此处进行配置

OpneAi_Api就填这个地址: http://localhost:3000/api/v1/chat/completions

picture.image

然后你登录微信机器人,进行对话,就通了

picture.image


既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~我是梦飞,谢谢你看我的文章。

如果有问题需帮助或合作,公众号中回复:“微信”即可添加好友~

往期文章推荐:

【3分钟速通】微信机器人接通义大模型、阿里云百炼应用的喂饭级教程

WaytoAGI x 阿里云 | 决赛问答揭晓,大V云集顶尖对决,“谁是人类”你来投票!

【微信机器人搭建共学活动汇总篇】小白做微信机器人搭建,看这一篇就够了!

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
VikingDB:大规模云原生向量数据库的前沿实践与应用
本次演讲将重点介绍 VikingDB 解决各类应用中极限性能、规模、精度问题上的探索实践,并通过落地的案例向听众介绍如何在多模态信息检索、RAG 与知识库等领域进行合理的技术选型和规划。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论