动手点关注
干货不迷路
标题 | Generative AI — LLMOps Architecture Patterns
作者 |
Debmalya Biswas
Open AI 最近宣布考虑为AI应用推出一个应用商店，这一消息非常有趣。可以预见，谷歌、AWS、Hugging Face 等其他主要公司也将效仿。虽然动机很明确，即成为采用生成式人工智能（GenAI）/大型语言模型（LLM）的首选平台，但也会有在平台上发布的企业应用屏蔽基础平台的风险。
AI应用商店是否会像苹果应用商店一样改变 iPhone / 移动设备的游戏规则，我们拭目以待！
那么，如今企业有哪些使用LLM的形式。作者列举了4 种架构：
- 黑盒 LLM APIs
- LLM 应用商店中的企业应用
- 企业 LLMOps - LLM微调
- Multi-agent LLM编排
1.黑盒LLM APIs
这就是典型的 ChatGPT [1] 例子，我们可以通过黑盒访问 LLM API/UI。 其他自然语言处理（NLP）核心任务也可以考虑使用类似的 LLM API，例如知识检索、总结、自动更正、翻译、自然语言生成（NLG）。
Prompt是这种方式里的主要交互模式，开发者需要持续提高Prompt Engineering的能力
Prompt 指的是调整用户输入，并为 LLM API 提供正确的上下文和指导的输入，以最大限度地提高获得 "正确"响应的机会。这促使提示工程（Prompt Engineering）成为一门专业学科，Prompt工程师系统地进行试验，记录试验结果，以获得 "正确 "的prompt，诱发 "最佳 "的响应。
2.LLM AppStore中的企业应用程序(SAAS)
虽然企业 LLM 应用有可能成为一个价值数十亿美元的市场，并可通过提供企业级的解决方案加速 LLM 的应用； 但与之前使用第三方模型一样，需要谨慎行事--验证 LLM/训练数据的所有权、知识产权和责任条款[2]。
数据所有权 ：数据对于监督式AI/机器学习系统至关重要，对于通常在公共数据集上进行训练的 LLM 来说更是如此。例如，Reddit 最近宣布（https://arstechnica.com/information-technology/2023/04/reddit-will-start-charging-ai-models-learning-from-its-extremely-human-archives/），将开始对从极度个性化的资料中学习的企业 AI/ML 模型收费。
因此，不仅要围绕训练数据，还要围绕输入数据、输出数据和其他生成的数据，就所有权问题进行谈判至关重要。
另一方面，了解/评估企业应用程序提供商将如何使用因与用户互动而接收/生成的数据也很重要。
3.企业LLMOps - LLM微调
LLM模型都是通用的。要充分发挥 LLM 在企业中的潜力，就需要将其与内部的文档、wiki、业务流程等方面的企业知识结合起来。
这可以通过利用企业知识/embeddings 对 LLM 进行微调来实现，从而开发出针对具体语境的 LLM [3]。
鉴于在这种情况下，企业负责 ML（微调）管道，因此需要 LLMOps（针对 LLM 的 MLOps [4]）以可扩展的方式交付。
LLMOps 可以说比通常的 MLOps 管道更为复杂，特别是为了实现持续改进的反馈回路--从人类反馈中强化学习（RLHF）[5]。
LMFlow（https://optimalscale.github.io/LMFlow/）是一个很好的例子，它是一个新兴的 LLMOps 框架。
4.Muti-Agent LLM编排
在未来，企业将能够通过协调/组合多个现有的人工智能应用程序来开发新的企业人工智能应用程序。
围绕 ChatGPT 的讨论现在已经演变成围绕AutoGPT。ChatGPT 主要是一个可以生成文本回复的聊天机器人，而 AutoGPT 则是一个功能更强大的AI Agent，可以执行复杂的任务，如销售、计划旅行、预订机票、预订承包商做家务、订购披萨等。LangChain可能是当今最成熟的编写 LLM 的框架。
AutoGPT 沿袭了围绕自治代理（Autonomous Agents），尤其是目标导向代理（Goal Oriented Agents）的悠久研究历史；我们在 [6] 中详细讨论了启用AI Agent 市场的发现方面。
参考：
1.D.Biswas. ChatGPT internals, and its implications for Enterprise AI. https://medium.datadriveninvestor.com/will-chatgpt-disrupt-enterprise-ai-7b83b7591c1e
2.D.Biswas.Ethical AI: its implications for Enterprise AI & Governance. https://towardsdatascience.com/ethical-ai-its-implications-for-enterprise-ai-use-cases-and-governance-81602078f5db
3.D. Biswas. Contextualizing Large Language Models (LLMs) with Enterprise Data. https://medium.datadriveninvestor.com/contextualizing-large-language-models-llms-with-enterprise-data-419e252fcbb7
4.D. Biswas. MLOps for Compositional AI. NeurIPS 2022 Workshop on Challenges in Deploying and Monitoring Machine Learning Systems (DMML), https://slideslive.com/38994256/mlops-for-compositional-ai
5.E. Ricciardelli, D. Biswas. Self-improving Chatbots based on Reinforcement Learning. in: 4th Multidisciplinary Conference on Reinforcement Learning and Decision Making, 2019. https://towardsdatascience.com/self-improving-chatbots-based-on-reinforcement-learning-75cca62debce
6.D. Biswas. Enabling an AI Agent Marketplace for AutoGPT. https://towardsdatascience.com/constraints-composition-for-autogpt-240a3fa00ab4
阅读至此了，分享、点赞、在看三选一吧🙏