动手点关注
干货不迷路
围绕大模型应用开发，笔者之前在架构层面介绍了RAG，并给出了一些在生产使用角度上的优化方向。
- LLM应用架构之检索增强（RAG）的缘起与架构介绍
- 改进召回（Retrieval）和引入重排（Reranking）提升RAG架构下的LLM应用效果
- 引入元数据(metadata)提升RAG架构下LLM应用的效果和管控精度。
而这对于LLM应用构建还远远不够，围绕LLM应用开发存在着大量的问题需要解决，沿着RAG进化角度看，有两个方向值得研究，一个是LLM不再只是给提供内容，同时，也教会它使用工具，结合情况选择合适的工具弥补自己偏科的问题，另一个是LLM应用流程可编排，并不局限于标准RAG的流程，提高灵活性和适应性。 这两方面，有很多人在探索改进，开源领域也有很多项目，笔者介绍两个不错的项目给大家。
模型使用工具
模型使用工具的最强代表就是能够生成和执行代码，大家自然会想到chatGPT的Code Intercepter，但遗憾的是它是一个高级付费功能，并且没法在LLM应用本地使用，而这会极大的限制使用场景。它还有一些其他缺陷：
- 无法访问互联网。
- 预装软件包数量有限。
- 最大上传量为 100 MB，运行时间限制为 120.0 秒。
- 当环境销毁时，运行的程序状态（以及任何生成的文件或链接）都将被清除。
而 这里介绍一个项目（Open Interpreter，https://github.com/KillianLucas/open-interpreter），它是chatGPT Code Intercepter的本地实现，可让 LLM 在本地电脑运行代码（Python、Javascript、Shell 等），摆脱上面提到的种种限制，且可以对 接别的LLM。
有了它，可以通过自然语言创建和编辑照片、视频、PDF等。也可以控制Chrome浏览器进行研究绘制、清理和分析大型数据集等等任务。使用方法也比较简单，如果对接OpenAI，只需要配置好APIkey即可。官方还提供了一个酷炫的视频，让大家感受它的能力。
这个项目目前尚不是很成熟，但是定位清晰，迭代速度也很快，感兴趣的可以重点关注。
LLM应用高阶编排及开发平台
编排领域首先就会想到Langchain，llamaindex，Semantic Kernel（SK） ，毕竟它们 就是从帮助开发者构建RAG应用切入，一步步变成当下 LLM应用最强的应用 编排工具。 但实际LLM应用开发中，它们的边界并不是LLM应用的需求边界，单就应用编排角度看，在LLM应用实际 流程里，仍然存在一些 更业务化 的，更高阶的编排工具 将 LLM交互 ， 模型相关和模型不相关的流程 串联 起来，形成完整的LLM应用链路 ，这 其中prompt编排就是 在langchain等之 上的一层再拓展，正是切中了这样的需求痛点，dify .ai等 产品当下 变得流行，虽然不见得技术 门槛有多高，但实际开发确实需要。 只有 需要 ，才有价值，困难 和简单并不是评价产品或项目本身好坏的标准。
这里不介绍dify，介绍另外一款同类型框架，它来自于微软，名为 flow ， 开发者可以借助它构建高质量的LLM应用程序，框架覆盖了从原型设计、测试到生产部署和监控的全生命周期。
它是一个python的配置式编排引擎，使用Vs Code的插件可以可视化的进行LLM应用开发和部署（还支持部署在k8s中）。具体能力：
- 轻松调试和迭代流程，尤其是与 LLM 的交互。
- 利用大型数据集评估流程、计算质量和性能指标。
- 将测试和评估集成到您的 CI/CD 系统中，以确保流程的质量。
- 将流量部署到您选择的服务平台，或轻松集成到您的应用程序代码库中。
更多信息参看：https://microsoft.github.io/promptflow/#
实际上，在生产应用来讲，prompt flow也没有完全满足需求，这中间的GAP仍然存在，这也是众多产品的框架产品的机会。前段时间，笔者也介绍了langchain也在这方面有发力，就是看到了这里面的巨大机会《大模型应用开发进入新阶段，微软、langchain有了新动作》。
结语
当下LLM应用需求大爆发，相关的工具和框架非常的多，有简单复制模仿，也有找到核心痛点并加以解决的好项目。笔者将会不时给大家介绍一些不错的好项目，供大家参考，见证大模型工程化发展动态。
阅读至此了，分享、点赞、在看三选一吧🙏