Aitrainee | 公众号:AI进修生
话不多说, MaxKB+WechatDownload 又是两个最新的项目:
WechatDownload : 微信公众号文章批量下载工具 ,支持图片、评论下载,支持保存html/md/pdf/docx文件。
MaxKB :💬 基于 LLM 大语言模型的知识库问答系统。开箱即用,支持快速嵌入到第三方业务系统,1Panel 官方出品。
前面还在头疼,怎么把微信公众号的文章下载下来保存备用(目的是防止一些文章被删或者成为制作知识库的材料),结果今天就看到了这个开源项目直接一键下载某个公众号的所有文章,而且支持4种格式的导出。
紧接着今天我又看到了这个成熟的知识库问答系统 。这个问答系统可以集成到自己的其他网站上,或者自己的项目产品中,而且支持这些模型厂商,
然后我前面又介绍了那么多免费api获取的项目,那我就直接利用这些api来构建公众号的知识问答小助手(这个知识库也是支持本地模型的,但是 对硬件要求高呀 ,只能较低版本的模型,那样问答效果就不太好,然后我就准备用3.5来作为基础模型,当然 gpt4free 这个项目也提供免费的gpt4调用,就是速度有点慢)
下面介绍一下怎么用这两个工具吧:
WechatDownload :直接来到他的仓库,把他的压缩包下载下来:
然后双击这个:
然后检查一下你的电脑版微信,把这个勾取消
然后随便复制一篇公众号的文章(注意是在微信自带浏览器中复制,不是你电脑的浏览器)
然后把链接粘贴到这里,点击获取公众号,然后再把第3步中的链接复制到微信聊天助手中
一样的双击在微信浏览器中打开
做完这些你就可以点击批量下载按钮了,他会把所有的公众号文章下载到指定目录
那么至此,我们获取知识库资料的步骤就完成了;
现在部署这个知识库问答助手 :
-
-
第1步先确保你电脑安装了docker
-
21.5k Star , AI 智能体项目OpenDevin:少写代码,多创造(附部署教程) 2. 2. 在终端中执行以下 Docker 命令来部署 MaxKB:
docker run
-
d
--
name
=
maxkb
-
p
8080
:
8080
-
v
~/.
maxkb
:/
var
/
lib
/
postgresql
/
data
1panel
/
maxkb
部署成功之后,打开链接登录的时候用户名为 admin,密码为 MaxKB@123...
按照他的步骤走就可以了;
然后我们在这个页面添加模型
注意获取api的方法,查看这篇文章,按照我下图中的形式把把api的网页链接写到v1截止,比如http://18.223.170.171:1337/v1或 http://localhost:8080/v1(前面的是你服务器的ip,后面的是你本机),总之要获得这个接口,请看下面这篇文章(Apk是随便填的,因为这个api的获取就是免费的,具体看文章)
利用免登录 ChatGPT Web 提供的无限制免费GPT-3.5-Turbo API 服务
那么好,我们现在就构建了知识库以及模型,现在我们要来创建一个具体的应用:
在首页这个菜单栏下,点击创建应用
刚刚创建的知识库和模型关联进去就好了
那里提供了访问的站点和api,还可以嵌入到第三方的网站中,这也是这个项目的特色
点击公共可访问的链接,你就会看到你的演示站点的主界面,这个也是后面你分享给别人的主界面(http://localhost:8080/ui/chat/38c3c22dc02b93d3)
然后还有其他的对话日志和设置,你点进去就可以明白,很简单
到此为止,我们就部署好了一个公众号的问答小助手
当然这不仅仅是公众号文章的小助手,你在创建知识库的时候,还可以通过网络爬虫的方式去扒取某个网页的内容,比如在线网站的文档,比如pytorch
这样的话你就可以通过获取各种资料来源来构建不同类别的知识库,然后再搭配相应的模型,构建成问答助手,他的每一个知识库也是分开的,这种隔离也挺好,可以让模型专注于特定的一个领域知识库,这样一来,即便是3.5的模型,在特定领域下它也是堪比4.0的模型;除此以外我还要介绍,除了他提供的这个默认的网站爬取方式:
不要忘了还有一个开源项目,也是专门用于gps构建的网络爬取 GPT Crawler :
好的,关于这个知识库问答工具这是他的官方教程视频:
https://www.bilibili.com/video/BV1BE421M7YM/?vd\_source=40d9cda43378fbc89cd5184e09bf1272
最后这个知识系统工具似乎对 内存 的要求稍微高了一点,我前面把它部署在aws一些低端使用的服务器上面运行不了,占用太多了,所以我只部署在我 本地电脑上 ,所以就没有相关的 链接分享出来可以直接去回答我公众号的内容 ,那就稍微截一下屏和Demo吧:
— 完 —
点这里👇关注我,记得标星噢