img
❝ 本文经翻译并二次整理自LangChain State of AI 2024 Report一文。
深入了解 LangSmith 产品使用模式，揭示人工智能生态系统的演变，以及人们构建大语言模型（LLM）应用的方式。
2024年即将结束，回顾这一年与大语言模型（LLMs）的共同进步，我们见证了许多令人振奋的变化。每个月，约有30,000名新用户加入了 LangSmith，这让我们得以更清楚地观察到人工智能领域的变革。
就像去年我们所做的那样，我们在此分享一些有趣的统计数据，揭示了产品使用模式的变化，以及人工智能生态系统的演变。特别是随着开发者利用 LangSmith 来跟踪、评估并迭代应用，观察到一些显著的趋势，包括开源模型的使用增长，以及从以检索为主的工作流转向了多步骤的 AI 代理应用。
接下来，我们将通过一些关键统计数据，深入了解开发者正在关注和构建的内容。
基础设施使用趋势
随着大语言模型（LLMs）的快速发展，大家不禁要问：“哪些模型最受欢迎？”让我们来一起看看这一年在这方面的变化。
主要 LLM 提供商
与去年相比，OpenAI 仍然是 LangSmith 用户中最受欢迎的 LLM 提供商，使用量是排名第二的 Ollama 的六倍以上（按组织使用量计算）。
img
不过，Ollama 和 Groq 今年的增长势头非常强劲，成功跻身前五名。这也说明了开发者对灵活部署选项和可定制人工智能基础设施的需求日益增加，尤其是这些平台支持运行开源模型——Ollama 更侧重于本地执行，而 Groq 更侧重云端部署。
img
至于开源模型的使用情况，与去年相比，主要开源模型提供商保持了一定的一致性——Ollama 、Mistral 和 Hugging Face 仍是大部分开发者使用的主要平台。这些开源模型的集体使用量占到了20%，这显示了开源生态系统的强劲发展。
顶级检索工具/向量存储
对于许多生成性人工智能（GenAI）工作流来说，检索仍然是不可或缺的一部分。2024年，排名前列的向量存储工具并未发生太大变化，Chroma 和 FAISS 仍然是最受欢迎的选择。今年，Milvus 、MongoDB 和 Elastic 也成功进入了前十名。
img
LangChain产品在应用构建中的使用
随着开发者对生成性人工智能的使用经验不断积累，他们开始构建更加复杂和动态的应用。我们观察到，从日益复杂的工作流到 AI 代理的崛起，创新生态系统正在不断发展。
img
可观察性不仅限于 LangChain 应用
虽然 LangChain （我们的开源框架）是许多开发者构建 LLM 应用的核心，但 LangSmith 的数据表明，约 15.7% 的跟踪数据来自 非LangChain 框架。这反映了一个趋势：无论开发者使用何种框架来构建 LLM 应用，系统的可观察性和监控都是至关重要的，而 LangSmith 完全支持不同框架之间的互操作性。
Python 依然主导，JavaScript 使用增长
对于许多开发者来说，调试、测试和监控仍然是至关重要的环节，因此Python SDK占据了LangSmith使用量的绝大部分，达到 84.7%。不过，随着开发者转向以 Web 为主的应用，** JavaScript** SDK 也呈现出显著增长，使用量达到了 LangSmith 总使用量的 15.3%，是去年的三倍之多。
AI 代理的关注度持续提升
随着企业在各个行业中越来越多地采用 AI 代理，我们的控制代理框架 LangGraph 的使用量也在不断增加。自从2024年3月发布以来，43% 的 LangSmith 组织正在使用 LangGraph 进行跟踪。相比于传统的 LLM 交互，LangGraph 允许开发者实现更复杂的任务。
img
与此同时，工具调用 的增加也是一个显著趋势，我们看到 21.9% 的跟踪数据涉及工具调用，相比2023年的 0.5% 增长了很多。这表明模型开始更加自主地决定何时采取行动，增强了与外部系统的互动能力，比如执行数据库写入等任务。
img
性能与优化
在应用开发中，平衡速度与复杂性是一个重要挑战——尤其是在涉及 LLM 资源时。我们将进一步探讨开发者如何优化应用，确保高效性能和复杂性之间的平衡。
复杂性不断增长，任务处理更高效
过去一年中，平均步骤数 翻倍，从 2023年 的 2.8步 增长到 2024年的7.7步 。这表明开发者越来越多地采用多步骤的工作流——例如，信息检索、数据处理和生成结果等操作。这些系统能够串联多个任务，提高了工作的综合效率。
img
相比之下，LLM调用次数 的增长较为温和——从 1.1次 增长到 1.4次 。这表明开发者正在设计更加高效的系统，通过较少的 LLM 调用完成更多任务，从而有效控制高成本的 LLM 请求。
LLM 测试与评估
为了确保生成的LLM响应质量和准确性，开发者通常采取哪些措施进行测试？虽然保持高质量的LLM应用始终是个挑战，越来越多的组织开始借助 LangSmith 的评估能力来实现自动化测试和用户反馈循环，从而提升应用的可靠性和稳定性。
LLM 作为评估工具
开发者正在使用 LLM 来评估输出结果，判断其是否符合预设标准。最常见的测试特征包括：相关性 、准确性 、完全匹配 和 有用性 。
这些测试结果表明，开发者通常进行基础检查，以确保生成的 AI 输出不会完全偏离目标。
img
通过人工反馈不断迭代
人工反馈对于迭代开发至关重要。借助 LangSmith，开发者可以更加高效地收集和整合人工反馈，进而改进和优化应用。在过去的一年里，标注的运行记录数量增加了 18倍 ，这与 LangSmith 使用量的增长保持一致。
每次运行的反馈量也略有增加，从 2.28条 增长到 2.59条 。然而，尽管每次运行的反馈数量有所增加，整体反馈仍然偏少，开发者可能更注重快速审查，或只对最关键的部分进行反馈。
结论
2024年，开发者通过构建多步骤的代理模型应对更高的复杂性，采用更高效的工作流，并通过反馈和评估提高了应用的质量。随着更多 LLM 应用的出现，开发者对更智能的工作流、更高效的性能和更强的可靠性提出了更高的要求。
今天的内容就到这里，如果老铁觉得还行，可以来一波三连，感谢！