茴香豆：一个新开源基于大模型的领域知识助手（来自书生·浦语团队）

“ 今天2篇文章都是书生·浦语 新开源的项目

        
          
https://arxiv.org/pdf/2401.08772.pdf  
https://github.com/internlm/huixiangdou  

      

这篇文章介绍了一个名为HuixiangDou的技术助手系统，它基于大型语言模型（LLM）来协助算法开发者。这个系统旨在通过即时通讯工具（如微信和Lark）的群聊中提供有关开源算法项目（如计算机视觉和深度学习项目）的有见地的回答。文章详细阐述了HuixiangDou的设计和实现，以及它如何通过迭代改进来适应群聊场景。

算法原理主要包括以下几个方面：

1. 算法管道设计 ：为了适应群聊场景，文章提出了一个专门针对群聊的算法管道。这个管道包括了对群聊消息的预处理、问题关键点的识别以及使用LLM进行回答的响应管道。
2. 文本向量（text2vec）在任务拒绝中的应用 ：文章验证了text2vec在任务拒绝中的可靠性，即通过text2vec模型来判断一个问题是否值得回答。这有助于避免无关的群聊内容被错误地识别为技术问题。
3. LLM的关键要求 ：文章提出了LLM在类似技术助手产品中需要满足的三个关键要求：

• 评分能力 ：LLM需要能够评估问题和背景知识之间的相关性。
• 上下文学习（In-Context Learning, ICL） ：LLM需要能够在上下文中学习，以便更好地理解和回答技术问题。
• 长上下文处理 ：LLM需要能够处理长上下文，这对于理解复杂的技术问题至关重要。

• 迭代改进策略 ：文章描述了从基础版本（称为“匕首”）到改进版本（称为“长矛”）再到最终版本（称为“耙子”）的迭代过程。每个版本都旨在解决前一个版本的问题，并逐步提高系统的性能。

• 长上下文处理 ：为了处理长上下文，文章提出了一种类似于操作系统分页机制的方法，将大型项目（如OpenCompass）压缩为单个描述，以便LLM能够处理。

• 多模态处理 ：文章提到了对多模态输入（如截图）的支持不足，并表示这是未来工作的方向。

总的来说，HuixiangDou的设计和实现展示了如何利用LLM在群聊环境中提供有效的技术帮助，同时避免了信息过载和不相关回答的问题。通过不断的迭代和改进，系统能够更好地理解和回答技术问题，同时保持对用户问题的高响应性和准确性。