AI-Compass 致力于构建最全面、最实用、最前沿的AI技术学习和实践生态,通过六大核心模块的系统化组织,为不同层次的学习者和开发者提供从完整学习路径。
- • github地址: AI-Compass👈:https://github.com/tingaicompass/AI-Compass
- • gitee地址: AI-Compass👈:https://gitee.com/tingaicompass/ai-compass
🌟 如果本项目对您有所帮助,请为我们点亮一颗星!🌟
📋 核心模块架构:
- • 🧠 基础知识模块 :涵盖AI导航工具、Prompt工程、LLM测评、语言模型、多模态模型等核心理论基础
- • ⚙️ 技术框架模块 :包含Embedding模型、训练框架、推理部署、评估框架、RLHF等技术栈
- • 🚀 应用实践模块 :聚焦RAG+workflow、Agent、GraphRAG、MCP+A2A等前沿应用架构
- • 🛠️ 产品与工具模块 :整合AI应用、AI产品、竞赛资源等实战内容
- • 🏢 企业开源模块 :汇集华为、腾讯、阿里、百度飞桨、Datawhale等企业级开源资源
- • 🌐 社区与平台模块 :提供学习平台、技术文章、社区论坛等生态资源
📚 适用人群:
- • AI初学者 :提供系统化的学习路径和基础知识体系,快速建立AI技术认知框架
- • 技术开发者 :深度技术资源和工程实践指南,提升AI项目开发和部署能力
- • 产品经理 :AI产品设计方法论和市场案例分析,掌握AI产品化策略
- • 研究人员 :前沿技术趋势和学术资源,拓展AI应用研究边界
- • 企业团队 :完整的AI技术选型和落地方案,加速企业AI转型进程
- • 求职者 :全面的面试准备资源和项目实战经验,提升AI领域竞争力
DeepSearch模块构建了涵盖前沿平台的深度搜索技术生态,致力于超越传统关键词匹配的智能信息检索革命。该模块整合了阿里ZeroSearch无搜索LLM能力增强、字节DeerFlow智能搜索引擎、书生浦源MindSearch多智能体搜索框架等核心技术,以及腾讯IMA.copilot智能工作台等企业级解决方案。
技术栈包含了JinaAI node-DeepResearch持续推理搜索、SurfSense开源知识管理助手、Firesearch多模态爬虫、Morphik-Core多模态RAG等专业组件,覆盖了从基础检索到复杂推理的全链路需求。模块深度集成了LLM原生搜索能力(ZeroSearch激励机制)、多智能体协作搜索(MindSearch类Perplexity Pro)、持续推理直到找到答案(node-DeepResearch)、多模态知识检索(Morphik多模态RAG)等创新技术,支持网页阅读、推理分析、知识图谱构建、实时搜索等高级功能。
此外,还提供了与外部数据源集成(Tavily、Linkup搜索引擎、Slack、Linear、Notion、YouTube、GitHub等)、自定义AI研究助手、私有知识库构建等实用功能,以及SearchGPT风格的对话式搜索、类NotebookLM的知识管理等前沿应用模式,帮助开发者构建智能化、个性化的下一代深度搜索系统,实现从信息检索到知识发现的技术跃升。
目录
-
- 1.ZeroSearch-阿里
-
- 1.deerflow-字节
-
- 2.jinaAI-node-DeepResearch
-
- 3.MindSearch书生浦源
-
- 3.SurfSence 开源检索
-
- 3.firesearch
-
- 3.morphik-core多模态搜索
================================================================================
简介
ima.copilot(简称ima)是腾讯推出的一款以知识库为核心的AI智能工作台产品。它集搜、读、写于一体,旨在显著提升用户在知识获取、信息处理和内容输出方面的效率,适用于学习和办公场景。
核心功能
- • 智能问答与内容生成: 具备AI模型的通用功能,如问答、内容创作和图像生成。
- • 搜读写一体化: 提供高效的搜索、阅读和写作工具,实现一体化工作流。
- • 知识库管理: 以知识库为核心,方便用户管理和利用信息。
- • 微信生态连接: 独特地与微信公众号生态系统连接,允许用户访问微信文章中的大量信息网络。
技术原理
ima.copilot的核心技术基于大型语言模型,已接入并融合了腾讯混元大模型 和DeepSeek R1模型 (满血版),这些模型为其提供了强大的自然语言处理、内容理解与生成能力。
应用场景
-
• 高效学习: 辅助用户进行知识获取和信息整理,提升学习效率。
-
• 办公协作: 作为智能办公工具,提高信息处理和文档输出效率。
-
• 内容创作: 辅助进行文章、报告等内容的撰写和生成。
-
• 信息检索与分析: 尤其是在需要整合微信公众号内容信息时,提供便捷的检索和分析能力。
-
• ima.copilot-腾讯智能工作台
简介
ZeroSearch是阿里巴巴提出的一种新颖的强化学习框架,可在训练期间通过模拟搜索来激励大语言模型(LLMs)使用真实搜索引擎的能力。它将LLM转换为检索模块,引入课程滚动机制激发模型推理能力。实验表明,ZeroSearch优于基于真实搜索引擎的模型,且零API成本,能适配不同大小和类型的LLMs及多种强化学习算法。
Snipaste_2025-07-19_14-32-49.png
核心功能
- • 把LLM转化为能生成相关和噪声文档的检索模块。
- • 引入课程滚动机制,逐步激发模型推理能力。
- • 支持REINFORCE、GPRO和PPO三种强化学习算法。
技术原理
通过监督微调,将LLM转变为检索模块,以应对查询生成文档。采用课程滚动机制,让模型面对更具挑战性的检索场景,逐步提升推理能力。同时,使用模拟搜索替代真实搜索进行训练。
应用场景
在需要利用大语言模型进行信息检索和推理的场景中使用,如问答系统、知识图谱构建等,可在不产生API成本的情况下获得较好的性能。
- • Alibaba-NLP/ZeroSearch: ZeroSearch: Incentivize the Search Capability of LLMs without Searching
- • ZeroSearch - a sunhaonlp Collection
简介
DeerFlow 是社区驱动的深度研究框架,结合语言模型与专业工具。已入驻火山引擎 FaaS 应用中心,支持一键部署。它能无缝集成 MCP 服务,进行深度研究、生成综合报告与播客音频等,具备多搜索引擎支持、人在环机制等特性。
Snipaste_2025-07-19_14-33-03.png
核心功能
LLM 集成 :支持多数模型,多层系统适配不同任务。
搜索与检索 :通过多种搜索引擎网络搜索,Jina 爬取,高级内容提取。
MCP 集成 :扩展访问能力,促进工具方法集成。
人机协作 :人在环中修改计划,支持报告后期编辑。
内容创作 :生成播客脚本、音频和 PPT 演示文稿。
文本转语音 :将研究报告转为语音,可自定义特性。
技术原理
DeerFlow 实现模块化多智能体系统架构,基于 LangGraph 构建,采用精简工作流程。组件通过消息传递系统通信,包含协调器、规划器、研究团队(研究员、编码员、报告员)等,实现灵活的基于状态的工作流。
应用场景
学术研究 :分析学术问题、撰写论文报告。
市场调研 :研究市场趋势、竞品分析。
内容创作 :撰写文章、生成播客和演示文稿。
技术分析 :分析代码、研究技术指标。
- • deer-flow/README_zh.md at main · bytedance/deer-flow
- • 🦌 DeerFlow
简介
DeepResearch项目是由Jina AI推出的一个高级AI研究代理系统,旨在模拟OpenAI的Deep Research系统,提供迭代式的网络研究能力。该项目最初以Node.js/TypeScript实现(node-DeepResearch),随后有社区开发者将其移植到Python语言(python-node-deepresearch),使得该研究助手能够通过搜索、网络抓取和大型语言模型对任何主题进行深入且迭代的研究。
核心功能
- • 迭代式深度研究: 能够持续地搜索、阅读网页并进行推理,直到找到答案或达到预设限制。
- • 多模态信息整合: 结合搜索引擎(如Brave/DuckDuckGo)、网页解析器(如Jina Reader)和大型语言模型(如Gemini Flash)进行信息处理和分析。
- • 自动化问答与合成: 自动处理复杂查询,通过循环过程迭代地搜索、阅读和综合答案。
- • 模块化架构: 设计上采用模块化,易于扩展和维护。
- • 多语言支持: 提供Node.js/TypeScript和Python两种实现版本。
技术原理
DeepResearch的核心技术原理在于其代理(Agentic)工作流,该工作流模仿了人类研究员的思考和行动模式。它主要依赖以下组件和机制:
- • 大型语言模型(LLM): 如Google的Gemini Flash,作为核心推理引擎,用于理解查询、生成搜索策略、提炼信息和综合答案。
- • 网页爬取与解析: 采用如Jina Reader等工具对网页内容进行高效、准确的抓取和解析,提取有效信息。
- • 搜索引擎接口: 通过集成Brave或DuckDuckGo等搜索引擎,实现对互联网信息的广泛检索。
- • 迭代循环与反馈机制: 系统在一个while-loop中运行,不断地执行“搜索-阅读-推理-合成”的循环,并根据当前信息调整后续步骤,直到满足查询要求或达到预设条件。
- • 状态管理与记忆: 代理在研究过程中会维护一个内部状态,记录已获取的信息和推理进展,避免重复劳动并确保逻辑连贯性。
应用场景
-
• 学术研究: 帮助学者快速收集、整理和分析特定领域的文献和信息。
-
• 市场调研: 自动进行行业分析、竞品研究和市场趋势洞察。
-
• 内容创作: 为新闻撰稿人、内容创作者提供背景资料和事实核查支持。
-
• 商业智能: 辅助企业进行决策支持,快速获取关键业务信息。
-
• 个人学习: 作为智能学习助手,帮助用户深入理解复杂概念和主题。
-
• jina-ai/node-DeepResearch: Keep searching, reading webpages, reasoning until it finds the answer (or exceeding the token budget)
-
• zhoujx4/python-node-deepresearch: deepResearch
简介
MindSearch 是一个开源的 AI 搜索引擎框架,性能与 Perplexity.ai Pro 相当。用户可轻松部署以构建自己的搜索引擎,支持闭源 LLM(如 GPT、Claude)和开源 LLM(InternLM2.5 系列模型经专门优化)。具备解决各类问题、深度知识探索、提供透明解决方案路径、多种用户界面及动态图构建过程等特性。
Snipaste_2025-07-19_14-34-16.png
核心功能
- • 问题解答 :通过搜索解决生活中的各种问题。
- • 深度探索 :浏览数百网页,提供广泛、深层次答案。
- • 透明路径 :提供思考路径、搜索关键词等完整内容,提高回复可信度和可用性。
- • 多界面支持 :提供 React、Gradio、Streamlit 等多种用户界面。
- • 动态图构建 :将用户查询分解为子问题节点,根据搜索结果扩展图。
技术原理
文档未详细提及技术原理相关内容,推测其通过将用户查询分解为子问题节点构建动态图,结合搜索引擎获取网页信息,利用优化后的 LLM(如 InternLM2.5 系列)进行处理和回复生成。
应用场景
- • 知识查询 :用户在学习、研究中遇到问题时,可使用 MindSearch 进行深度知识探索。
- • 日常问题解决 :解决生活中遇到的各种疑问。
- • 搜索引擎开发 :开发者可基于该框架构建自己的搜索引擎。
- • MindSearch/README_zh-CN.md at main · InternLM/MindSearch
- • InternLM/MindSearch: 🔍 An LLM-based Multi-agent Framework of Web Search Engine (like Perplexity.ai Pro and SearchGPT)
- • 2407.20183v1.pdf
简介
SurfSense是一款开源、高度可定制的AI研究与知识管理助手。它旨在提供类似NotebookLM、Perplexity和Glean的替代方案,能够整合外部信息源(如搜索引擎、社交媒体和协作工具)与用户的个人知识库,并支持隐私保护和数据自主。
核心功能
- • 多源信息整合: 连接到Tavily、LinkUp等搜索引擎,以及Slack、Linear、Notion、YouTube、GitHub、Discord等多样化平台,实现信息的自动抓取和整合。
- • 个人知识库构建与管理: 允许用户保存网页(包括登录墙后的内容)、上传文档和文件,并构建可进行自然语言查询的私有、可搜索知识库。
- • AI辅助研究与分析: 提供AI驱动的搜索、信息管理和与文档交互(聊天)的能力,帮助用户高效地从海量数据中提取洞察、生成播客或进行深度分析。
- • 数据隐私与自主: 支持云端和本地AI模型部署选项,确保用户数据的安全与隐私,赋予用户对自身数据完全的控制权和所有权。
技术原理
SurfSense的核心基于AI研究代理 (AI research agent)范式,特别提到了使用自定义的gpt-researcher代理 。它通过集成多种外部服务的API(如搜索引擎API、协作工具API),实现对不同数据源的连接和信息流转。在处理用户知识库时,系统运用自然语言处理 技术,使用户能通过日常语言进行查询和交互。为提供高度的隐私保护,其架构设计支持本地AI模型部署 ,允许敏感数据在用户本地环境中处理,与传统的云端处理模式并行。
应用场景
-
• 学术与市场研究: 研究人员和分析师可利用其高效收集、整合多学科信息,进行文献回顾和市场趋势分析。
-
• 个人知识管理: 个人用户可将其作为私有的“第二大脑”,管理所有数字笔记、文档和网络信息,并随时进行回顾和查询。
-
• 内容创作: 内容创作者(如播客制作者、撰稿人)可快速从整合的知识库中获取灵感和资料,甚至直接生成内容片段。
-
• 团队协作与知识共享: 企业或团队可部署SurfSense,通过集成内部工具,促进团队知识的集中管理和高效检索,提升协作效率。
-
• 隐私敏感型工作: 对数据隐私和合规性有严格要求的行业或个人,可利用其本地部署能力,确保敏感信息不出本地环境。
-
• MODSetter/SurfSense: Open Source Alternative to NotebookLM / Perplexity / Glean, connected to external sources such as search engines (Tavily, Linkup), Slack, Linear, Notion, YouTube, GitHub and more.
-
• SurfSense – Customizable AI Research & Knowledge Management Assistant
简介
Firesearch 是一款由 Firecrawl 和 LangGraph 驱动的人工智能深度研究工具,利用 Firecrawl 进行多源网页内容提取,借助 OpenAI GPT - 4o 进行搜索规划和后续生成。它可以将复杂查询分解为多个聚焦搜索,提供验证答案、自动重试等功能,还支持用户通过修改配置文件自定义搜索行为。
核心功能
- • 智能搜索:将复杂查询分解为多个聚焦搜索。
- • 答案验证:验证来源是否包含实际答案,要求置信度达 0.7 以上。
- • 自动重试:对未解答的问题使用替代搜索词重试。
- • 实时进度:搜索完成时实时更新。
- • 完整引用:每个事实都链接到其来源。
- • 上下文记忆:后续问题保持对话上下文。
技术原理
Firesearch 以 Firecrawl 进行多源网页内容提取,利用 OpenAI GPT - 4o 进行搜索规划和总结。处理流程为:将复杂查询分解为子问题,通过 Firecrawl API 进行多次搜索,从网页源提取 Markdown 内容,验证来源是否能解答问题,对未解答问题使用替代搜索词重试,最后由 GPT - 4o 将结果综合成带引用的答案。同时可通过修改配置文件自定义搜索行为,如设置最大搜索查询数、每个搜索查询的最大来源数等。
应用场景
- • 学术研究:可用于查找学术资料,获取相关研究成果。
- • 产品对比:对比不同产品的特点、价格等信息,如对比手机旗舰机型的功能。
- • 信息调研:了解公司的创始人、产品发布时间等信息。
- • mendableai/firesearch
- • Firecrawl
简介
Morphik 是一套面向视觉丰富文档和多模态数据的 AI 原生工具集,旨在让开发者轻松将复杂数据上下文集成到 AI 应用中。它具备多模态搜索、知识图谱构建、快速元数据提取等功能,提供免费层级且开源,有 Python SDK 和 REST API,也可通过控制台操作。
核心功能
- • 多模态搜索 :利用 ColPali 等技术理解文档视觉内容,通过单一端点搜索图像、PDF、视频等。
- • 知识图谱构建 :一行代码构建特定领域知识图谱,可使用预设或自定义系统提示。
- • 元数据提取 :从文档中快速提取包括边界框、标签、分类等元数据。
- • 集成功能 :与 Google Suite、Slack、Confluence 等现有工具和工作流集成。
- • 缓存增强生成 :创建文档持久 KV 缓存以加速生成。
技术原理
Morphik 运用 ColPali 技术构建多模态搜索,直接将输入页面嵌入存储,避免因解析或处理技术不完善导致的上下文丢失。在元数据提取方面,借助相关算法实现对文档的边界框、标签、分类等信息的提取。
应用场景
- • 技术和特定领域搜索 :在专业技术文档、特定领域资料中进行精准搜索。
- • 企业知识管理 :连接企业各种数据源,对复杂图表、原理图和数据表进行完美搜索。
- • AI 应用开发 :为开发者提供工具,将复杂数据上下文集成到 AI 应用中。
- • morphik-org/morphik-core: Open source multi-modal RAG for building AI apps over private knowledge.
- • Morphik
- • github地址: AI-Compass👈:https://github.com/tingaicompass/AI-Compass
- • gitee地址: AI-Compass👈:https://gitee.com/tingaicompass/ai-compass
🌟 如果本项目对您有所帮助,请为我们点亮一颗星!🌟
书籍推荐: