快讯:红杉近日（6.14）发布LLM应用开发技术栈指引

动手点关注

干货不迷路

近日（6.14）红杉发布了《The New Language Model Stack--How companies are bringing AI applications to life》为题的关于大语言模型应用开发的技术栈预测。这一文章是红杉对它投资下的33家公司（包含上市公司及初创公司），进行交流总结而得到的一些结论和预测，有很好的借鉴参考意义。笔者结合理解简单总结给大家，供大家参考。

1.几乎调研的企业都在试图将大语言模型技术用到自己的产品中。包含从代码（Sourcegraph、Warp、Github）到数据科学（Hex）的各个领域。开发出来了更好的聊天机器人，从客户支持到员工支持再到消费娱乐的各个领域。还有公司更是以AI为先的视角重新构想整个工作流程：视觉艺术（Midjourney）、营销（Hubspot、Attentive、Drift、Jasper、Copy、Writer）、销售（Gong）、联系中心（Cresta）、法律（Ironclad、Harvey）、会计（Pilot）、生产力（Notion）、数据工程（dbt）、搜索（Glean、Neeva）、购物（Instacart）、消费支付（Klarna）和旅行计划（Airbnb）。 2.新的应用技术栈以语言模型API、检索和编排为中心，开源使用也在增长。

数据解读：

1. 65%的应用程序已经上线发布，比两个月前的50%有所增加，其余的仍在开发测试中。
2. 94%的人正在使用大语言模型的API。在调查的样本中，OpenAI的GPT是明显的首选，占91%，然而对Anthropic的兴趣在过去的一个季度中增长到了15%。（有些公司同时使用多个模型）。
3. 88%的人认为数据检索，如向量数据库，仍然是他们技术栈的关键部分。为模型实现检索相关上下文，有助于提高模型推理结果的质量，减少“幻觉”（不准确性），并解决大模型数据不够新的问题。有些人使用专门构建的向量数据库（Pinecone、Weaviate、Chroma、Qdrant、Milvus等等），而其他人使用pgvector或AWS的产品。
4. 38%的人对像LangChain这样的LLM编排和应用开发框架感兴趣。有些人用它来做原型，而其他人在生产环境中使用它。在过去的几个月里，使用率有所增加。
5. 不到10%的人正在寻找工具来监控LLM的输出、成本或性能，并对Prompt进行A/B测试。随着更多的大公司和受监管的行业采用语言模型，这些领域的兴趣可能会增加。
6. 少数公司正在研究互补生成（complementary generative）技术，如将文本生成和语音生成整合在一起。这也可能是一个令人兴奋的增长领域。
7. 15%的人从头开始或从开源中构建自己定制的大语言模型，通常也会同时使用LLM的API。

目前新技术发展很快，也没有定型，很难明确未来最终的技术栈是什么样子。目前的基本共识是LLM API会是核心支柱，然后便是围绕检索增强（向量数据库）和类似LangChain的编排集成开发框架。开源和个性化的模型训练和微调也处于上升趋势，其他相关领域也很重要，但距离成熟尚早。

上图解读：

1. LLM API方面有OpenAI、ANTHROP\C和Cohere等；
2. 向量数据库（Vector DBs）方面包括aws、pgvector和aPinecone等；
3. 开发框架方面有LangChain、Llamalndex和ANArCHY等；
4. 文本到语音（Text-to-speech）技术方面有http://RESEMBLE.AI、ElevenLabs和WELLSAID等；
5. 监控方面包括DISTYL、GUARDRAILS和Helicone等。

在自定义模型训练/微调技术栈中，有以下的工具：

1. 计算（Compute）方面包括aws、Google Cloud和Lambda等；
2. 模型中心（Model Hub）方面有HF和Feplicate等；
3. 开发框架方面有Pytorch、TensorFlow等；
4. 实验（Experimentation）方面包括Weights & Biases、GANTRY和FOUNDARY等；
5. 监控/可观察性（Monitoring/Observability）方面包括Feplicate、Arthur和arize等；
6. 托管（Hosting）方面包括WHYLABS和Mosaic"Modal等。

3.公司有需求构建满足自己公司领域的大模型。由于目前大模型是通用的，客户有诉求希望将自己的knowhow，自己的数据（比如，一些技术文档，产品说明，公司制度等）引入到大模型中，形成满足公司自己的需要。达成上面的需求，基本上有三条路（详细技术原理可参考本公众号其它文章）：

1）从零训练自己的大模型，这条路最难，成本很高。

2）在一个基础模型上微调（finetune）自己的大模型，这条路中等复杂度。

3）使用训练好的模型，加上检索增强的方式来达成。这条路最容易实现，也是大多数公司选择的方式。 4.目前来看似乎使用LLM API的方式（闭源黑盒，面向应用开发者）和自定义自己的模型（开源白盒，面向机器学习团队）的技术栈是不同的，但长期看会融合。这一点从openai的finetune接口可以看出，未来微调还是检索增强都会是提高模型性能的一个方式。至于技术栈上的gap会随着越来越多的LLMOPS工具填平。

5.大语言模型开发会对传统开发者越来越友好，大模型应用开发也不仅限于机器学习背景的开发团队，而是向应用开发者发展。例如，langchain之类的框架就给开发者提供了一些高阶抽象，帮助开发者能够把LLM集成到自己的产品系统中。

6.语言模型为了能够更好的被应用到生产，需要要变得更加可靠（输出质量、数据隐私、安全性）

7. 企业应用会希望整合多模态能力到大模型应用中，使得其发挥更好的客户体验以及完成更复杂的任务。

8.AI应用落地还处于发展早期，拥有大量的创业机会。AI技术才开始慢慢渗透，65%的受访者目前在生产中有使用到ai技术，并且大多是一些简单应用。随着越来越多公司想要开发LLM应用，会对他们带来更多的挑战，同时也是创业者的机会。

参考链接：https://www.sequoiacap.com/article/llm-stack-perspective/

想要了解更多LLM应用开发吗？ 可阅读连载：

《一文探秘LLM应用开发》目录：

第一部分 基础概念

一文探秘LLM应用开发(1)

第二部分 应用挑战

1.问题定义与基本思路

一文探秘LLM应用开发(2)

2 . 基本流程与相关技术

1)Tokenization与Embbeding

一文探密LLM应用开发(3)

2)向量数据库

一文探秘LLM应用开发(4)

3)微调

一文探秘LLM应用开发(5)-微调(背景与挑战)

一文探秘LLM应用开发(6)-微调(方案理论)

一文探秘LLM应用开发(7)-微调(工具实践)