在 LLM 技术迅速发展的今天，开发者面临着工具选择的挑战。LLM Engineer Toolkit 开源项目应运而生，这是一个精心策划的资源库，集合了120多种按功能分类的 LLM 相关工具，覆盖了从训练、推理到部署、监控的完整开发周期，和 RAG、Agents、提示词等实用场景技能。
无论你是刚入门的 AI 开发者，还是经验丰富的 LLM 工程师，这个项目都能帮助你快速定位所需工具，避免在茫茫工具海洋中迷失方向。从高效的模型训练库如 Unsloth、功能强大的应用框架如 LangChain，到专业的评估工具如 Ragas，每个类别都囊括了当前领域的佼佼者。
这不仅是一个工具列表，更是 LLM 技术生态的全景图，为你的 AI 项目开发提供了全方位的技术支持。随着社区的不断贡献，这个"百宝箱"还在持续更新和扩展，助力开发者构建下一代 AI 应用。
一起看看这个百宝箱里都有哪些宝藏吧，每个分类咱们挑选了几个有代表性的项目，供大家参考，全集可参考文末 Github 项目链接 💎 💎 💎
训练和微调
Unsloth - 更快速、更低内存消耗的 LLM 微调工具
PEFT - 参数高效微调库，节省计算资源
TRL - 通过强化学习训练 Transformer 语言模型
Axolotl - 简化 AI 模型后训练的工具
应用开发
LangChain - 打造 LLM 驱动应用的完整框架
LlamaIndex - LLM 应用的数据框架
LiteLLM - 以 OpenAI 格式调用100+LLM API 的统一接口
Streamlit - 快速构建数据应用的 Python 库
Gradio - 轻松创建机器学习应用的交互界面
RAG
FastGraph RAG - 高精度、可解释的检索工作流框架
Chonkie - 轻量、快速、易用的 RAG 分块库
RAGChecker - 精细化 RAG 诊断框架
SQLite-Vec - 可在任何环境运行的向量搜索 SQLite 扩展
推理与部署
vLLM - 高吞吐、内存高效的 LLM 推理和服务引擎
LightLLM - 轻量级设计、易扩展的 Python 推理框架
TensorRT-LLM - 用于优化大语言模型推理的库
Langcorn - 使用 FastAPI 自动部署 LangChain LLM 应用
数据工具
Crawl4AI - LLM 友好的开源网络爬虫
Llama Parse - 适用于任何下游 LLM 用例的文档解析器
DataDreamer - 强大的开源数据生成和训练工作流库
fabricator - 使用大语言模型生成数据集的灵活框架
AI Agents
CrewAI - 编排角色扮演型自主 AI Agent 的框架
LangGraph - 将语言 Agent 构建为图的框架
AutoGen - 构建 AI Agent 系统的开源框架
Memary - 自主 Agent 的开源记忆层
AgentOps - AI Agent 监控的 Python SDK
评估与监控
Ragas - 用于评估和优化 LLM 应用的工具包
Giskard - 用于 ML 和 LLM 系统的开源评估和测试工具
LangSmith - 提供日志记录、监控和改进 LLM 应用的工具
Helicone - 开源 LLM 可观测性平台
TruLens - LLM 实验的评估与跟踪工具
提示工程
PCToolkit - 统一的即插即用提示压缩工具包
LLMLingua - 用于加速 LLM 推理的提示压缩库
DSPy - 编程而非提示语言模型的开源框架
Promptimizer - 提示优化库
结构化输出
Instructor - 基于 Pydantic 的 LLM 结构化输出库
XGrammar - 高效、灵活的结构化生成开源库
Outlines - 稳健的结构化文本生成工具
Guidance - 高效的 LLM 引导编程范式
安全与保障
Guardrails - 为大语言模型添加保障措施
LLM Guard - LLM 交互的安全工具包
NeMo Guardrails - 为 LLM 对话系统添加可编程保障的工具包
Garak - LLM 漏洞扫描器
嵌入模型
Sentence-Transformers - 最先进的文本嵌入模型
Model2Vec - 快速静态嵌入模型
Text Embedding Inference - 高性能文本嵌入模型推理解决方案
其他工具
Text Machina - 模块化 Python 框架，用于创建高质量、无偏见的 MGT 相关任务数据集
LLM Reasoners - 大语言模型高级推理库
EasyEdit - 大语言模型知识编辑的易用框架
CodeTF - 代码 LLM 的一站式 Transformer 库
pandas-ai - 与数据库对话的工具(SQL、CSV、pandas 等)
Vanna - 通过 RAG 使用 LLM 准确生成 SQL 的数据库聊天工具
mergekit - 合并预训练大语言模型的工具集
MarkLLM - 开源 LLM 水印工具包
LLM Reasoner - 让任何 LLM 像 OpenAI o1 和 DeepSeek R1 一样思考
要充分发挥这个资源库的价值，建议采取以下策略：
首先，根据您当前项目阶段确定优先需求——是训练模型、构建应用还是优化性能；
其次，不要局限于单一工具，尝试跨类别组合使用，如将 RAG 工具与评估框架结合，或将 Agent 系统与监控工具配对；
第三，关注社区活跃度，选择维护良好且文档完善的库；
最后，建立自己的"核心工具链"，包含每个开发阶段的关键工具，逐步扩展实验其他选项。
记住，最佳工具组合取决于您的具体需求、技术栈和团队专长。定期回顾此资源库以了解新工具和最佳实践，让您的LLM项目保持技术领先优势。
Github 项目链接：
https://github.com/KalyanKS-NLP/llm-engineer-toolkit
欢迎朋友们关注❤️和星标⭐️