FreeAskInternet——一款小巧灵活的开源AI原生应用

FreeAskInternet 简介

FreeAskInternet 是一个完全免费、私密且本地运行的搜索聚合器和答案生成工具,使用 LLM 生成答案,无需 GPU。用户可以提出问题,系统将使用 searxng 进行多引擎搜索,并将搜索结果与 ChatGPT3.5 LLM 结合,根据搜索结果生成答案。所有过程本地运行,不需要 GPU、OpenAI 或 Google API 密钥。

特点

•🈚️ 完全免费(不需要任何 API 密钥) •💻 完全本地化(不需要 GPU,任何计算机均可运行) •🔐 完全私密(所有操作本地执行,使用自定义 LLM) •👻 无需 LLM 硬件运行(无需 GPU!) •🤩 使用免费的 ChatGPT3.5 / Qwen / Kimi / ZhipuAI(GLM) API(无需 API 密钥!感谢 OpenAI) •🐵 支持自定义 LLM(如 ollama,llama.cpp),是的,我们喜爱 ollama! •🚀 使用 Docker Compose 快速易部署 •🌐 网络和移动友好界面,专为增强的 AI 聊天搜索设计,可从任何设备轻松访问。

截图

picture.image

picture.image

picture.image

如何工作?

系统在 FreeAskInternet UI 界面(本地运行)获取用户输入的问题,并调用 searxng(本地运行)在多个搜索引擎上进行搜索。爬取搜索结果链接内容并传递给 ChatGPT3.5 / Kimi / Qwen / ZhipuAI / ollama(通过使用自定义 LLM),根据这些内容作为参考回答用户问题。将答案流式传输到聊天 UI。我们支持自定义 LLM 设置,因此理论上支持无限的 LLM。

项目状态

该项目仍处于非常初期阶段。请容忍一些错误存在。

运行最新发布版本


          
git clone https://github.com/nashsu/FreeAskInternet.git
          
cd ./FreeAskInternet
          
docker-compose up -d
      

🎉 现在你应该能够在 http://localhost:3000 上打开网络界面。默认情况下不暴露其他内容。(对于旧的网络界面,访问 http://localhost:3030)

如何获取和设置 Kimi / Qwen / ZhipuAI 令牌?

如何获取令牌?

我们使用 https://github.com/LLM-Red-Team 项目提供这些服务,你可以参考他们的 readme。

参考:https://github.com/LLM-Red-Team/kimi-free-api

设置令牌

如何使用自定义 LLM(如 ollama)?

(是的,我们喜爱 ollama)

启动 ollama 服务


          
export OLLAMA_HOST=0.0.0.0
          
ollama serve
      

在设置中设置 ollama url:你必须使用你的计算机的 IP 地址,不能使用 localhost/127.0.0.1,因为在 docker 中你无法访问此地址。模型名称是你想由 ollama 提供服务的模型。

设置自定义 LLM url

ollama 模型参考:https://ollama.com/library

如何更新到最新版本


          
cd ./FreeAskInternet
          
git pull
          
docker compose down
          
docker compose rm backend
          
docker compose rm free_ask_internet_ui
          
docker image rm nashsu/free_ask_internet
          
docker image rm nashsu/free_ask_internet_ui
          
docker-compose up -d
      

致谢

•ChatGPT-Next-Web : https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web •FreeGPT35: https://github.com/missuo/FreeGPT35 •Kimi\Qwen\ZhipuAI https://github.com/LLM-Red-Team •searxng: https://github.com/searxng/searxng

声明

本文由山行翻译整理自:https://github.com/nashsu/FreeAskInternet,如果对您有帮助,请帮忙点赞、关注、收藏,谢谢~

0
0
0
0
评论
未登录
暂无评论