狂揽23.9k stars！超棒的开源LLM资源列表

picture.image

🔥 大型语言模型（LLM）已经席卷了NLP社区、AI社区和全世界。以下是关于大型语言模型的精选资源列表，特别是与ChatGPT相关的内容。它还包含LLM训练框架、LLM部署工具、LLM相关的课程和教程以及所有公开可用的LLM检查点和API。

picture.image

这个开源库已经在GitHub上收获了 239,000个星标，见证了它的火爆程度。

话不多说，让我们一起来看看吧。

里程碑论文

里程碑论文[7]

其他论文

注意
如果你对LLM领域感兴趣，可以参考上面列出的里程碑论文，帮助你探索其历史和前沿状态。然而，LLM的每个方向都提供了独特的见解和贡献，这对理解该领域整体非常重要。有关各个子领域的详细论文列表，请参考以下链接：

其他论文[8]

LLM排行榜

•Chatbot Arena Leaderboard[9] - 一个大型语言模型（LLM）基准平台，提供匿名、随机化的对战，采用众包方式。•LiveBench[10] - 一个具有挑战性、无污染的LLM基准。•Open LLM Leaderboard[11] - 旨在跟踪、排名并评估LLM和聊天机器人，随着它们的发布。•AlpacaEval[12] - 使用Nous基准套件的指令跟随语言模型自动评估器。

其他排行榜[13]

开放LLM[14]

•DeepSeek •阿里巴巴 •Meta •Mistral AI •谷歌 •苹果 •微软 •AllenAI •xAI •Cohere •01-ai •百川 •Nvidia •BLOOM •智谱AI •OpenBMB •RWKV基金会 •ElutherAI •Stability AI •BigCode •DataBricks •上海AI实验室

LLM数据

参考资料：LLMDataHub[15]

•IBM data-prep-kit[16] - 用于高效处理非结构化数据的开源工具包，具有预构建模块和本地到集群的可扩展性。•Datatrove[17] - 通过提供一组平台无关、可定制的管道处理模块，将数据处理从脚本化的混乱中解脱出来。•Dingo[18] - Dingo：一款全面的数据质量评估工具•FastDatasets[19] - 一个强大的工具，用于为大型语言模型创建高质量的训练数据集

LLM评估

•lm-evaluation-harness[20] - 用于少量样本评估语言模型的框架。•lighteval[21] - 一个轻量级LLM评估套件，Hugging Face在内部使用。•simple-evals[22] - OpenAI提供的评估工具。•其他评估框架[23]

LLM训练框架

•Meta Lingua[24] - 一个精简、高效、易于修改的代码库，用于研究LLM。•Litgpt[25] - 20多种高性能LLM，具有预训练、微调和大规模部署的方案。•nanotron[26] - 最简化的大型语言模型3D并行训练。•DeepSpeed[27] - DeepSpeed是一个深度学习优化库，使分布式训练和推理变得简单、高效和有效。•Megatron-LM[28] - 进行大规模变换器模型训练的持续研究。•torchtitan[29] - 一个用于大规模模型训练的本地PyTorch库。•其他框架[30]

LLM推理

参考资料：llm-inference-solutions[31]

•SGLang[32] - SGLang是一个快速的服务框架，用于大型语言模型和视觉语言模型。•vLLM[33] - 一个高吞吐量且内存高效的LLM推理和服务引擎。•llama.cpp[34] - 使用C/C++进行LLM推理。•ollama[35] - 启动Llama 3、Mistral、Gemma及其他大型语言模型。•TGI[36] - 一个部署和服务大型语言模型（LLMs）的工具包。•TensorRT-LLM[37] - Nvidia的LLM推理框架•其他部署工具[38]

LLM应用

参考资料：极棒的llm-apps[39]

•dspy[40] - DSPy：用于编程——而非提示——基础模型的框架。•LangChain[41] — 一个流行的Python/JavaScript库，用于链式连接语言模型提示序列。•LlamaIndex[42] — 一个Python库，用于为LLM应用增强数据。•更多应用[43]

LLM教程和课程

•Andrej Karpathy系列[44] - 我最喜欢的！•Umar Jamil系列[45] - 高质量的教育视频，不容错过。•Alexander Rush系列[46] - 高质量的教育材料，不容错过。•llm-course[47] - 进入大型语言模型（LLMs）的课程，包含路线图和Colab笔记本。•UWaterloo CS 886[48] - 基础模型的最新进展。•CS25-Transformers United[49] •ChatGPT提示工程[50] •Princeton[51]: 理解大型语言模型 •CS324 - 大型语言模型[52] •GPT的状态[53] •让我们从零开始构建GPT：从代码到实现[54] •minbpe[55] - 用于LLM分词的字节对编码（BPE）算法的最小化、干净的代码。•femtoGPT[56] - 用Rust实现的最小化生成预训练变换器。•Neurips2022[57]-基础模型的基础稳健性 •ICML2022-欢迎进入“巨型模型”时代：训练和服务更大模型的技术和系统[58] •60行NumPy代码实现GPT[59]

LLM书籍

•Generative AI with LangChain[60] : 使用Python、ChatGPT和其他LLM构建大型语言模型（LLM）应用——附带一个GitHub仓库，展示了很多功能。

•Build a Large Language Model (From Scratch)[61] - 构建你自己的工作LLM的指南。

•BUILD GPT[62]: HOW AI WORKS - 解释如何从零开始编码生成预训练变换器（GPT）。

•Hands-On Large Language Models: Language Understanding and Generation[63] - 探索大型语言模型的世界，本书包含超过275个自制图示！

•The Chinese Book for Large Language Models[64] - 一本基于大型语言模型调查的入门LLM教科书。

关于LLM的伟大思想

•为什么所有公开复现的GPT-3都失败了？[65] •指令调优的阶段性回顾[66] •LLM驱动的自主代理[67] •为什么你应该致力于AI代理！[68] •谷歌：“我们没有护城河，OpenAI也没有”[69] •AI竞争声明[70] •提示工程[71] •诺姆·乔姆斯基：ChatGPT的虚假承诺[72] •ChatGPT有1750亿个参数吗？技术分析[73] •GPT是如何获得其能力的？追溯语言模型的涌现能力来源[74] •开放预训练变换器[75] •大型语言模型中的扩展、涌现与推理[76]

其他[77]

•Emergent Mind[78] - 最新的AI新闻，由GPT-4策划和解释。•ShareGPT - 一键分享你最疯狂的ChatGPT对话。•主要LLM + 数据可用性[79] •500+最佳AI工具[80] •Cohere Summarize Beta - 介绍Cohere Summarize Beta：一个新的文本总结端点•chatgpt-wrapper - ChatGPT Wrapper是一个开源的非官方Python API和CLI，可以让你与ChatGPT互动。•Cursor[81] - 使用强大的AI写作、编辑和聊天你的代码。•AutoGPT - 一个展示GPT-4语言模型能力的实验性开源应用。•OpenAGI - 当LLM遇到领域专家。•EasyEdit[82] - 一个易于使用的框架，用于编辑大型语言模型。•chatgpt-shroud - 一个Chrome扩展程序，用于OpenAI的ChatGPT，通过轻松隐藏和显示聊天历史来增强用户隐私。适合屏幕共享时的隐私保护。

贡献

这是一个活跃的代码库，我们欢迎您的贡献！

如果我不确定某些拉取请求是否对LLM有帮助，我将保持它们的开放状态，你可以通过添加👍来投票支持它们。

往期精彩内容回顾

6个开源的最佳本地运行大语言模型（LLM）工具

使用 LangChain 与 MCP集成

AI时代，你需要知道的AI Agents都在这里了

更多信息

山行AI希望本文对你有所帮助，由笔者整理自：https://github.com/Hannibal046/Awesome-LLM?tab=readme-ov-file#miscellaneous，感谢点赞、转发！

References

热门LLM项目

目录