向AI转型的程序员都关注公众号 机器学习AI算法工程
本项目是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程，针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导，简化开源大模型的部署、使用和应用流程，让更多的普通学生、研究者更好地使用开源大模型，帮助开源、自由的大模型更快融入到普通学习者的生活中。
本项目的主要内容包括：
-
基于 Linux 平台的开源 LLM 环境配置指南，针对不同模型要求提供不同的详细环境配置步骤；
-
针对国内外主流开源 LLM 的部署使用教程，包括 LLaMA、ChatGLM、InternLM 等；
-
开源 LLM 的部署应用指导，包括命令行调用、在线 Demo 部署、LangChain 框架集成等；
-
开源 LLM 的全量微调、高效微调方法，包括分布式全量微调、LoRA、ptuning 等。
什么是大模型？
大模型（LLM）狭义上指基于深度学习算法进行训练的自然语言处理（NLP）模型，主要应用于自然语言理解和生成等领域，广义上还包括机器视觉（CV）大模型、多模态大模型和科学计算大模型等。
百模大战正值火热，开源 LLM 层出不穷。如今国内外已经涌现了众多优秀开源 LLM，国外如 LLaMA、Alpaca，国内如 ChatGLM、BaiChuan、InternLM（书生·浦语）等。开源 LLM 支持用户本地部署、私域微调，每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。
然而，当前普通学生和用户想要使用这些大模型，需要具备一定的技术能力，才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM，想要快速掌握一个开源 LLM 的应用方法，是一项比较有挑战的任务。
本项目旨在首先基于核心贡献者的经验，实现国内外主流开源 LLM 的部署、使用与微调教程；在实现主流 LLM 的相关部分之后，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。星火点点，汇聚成海。
项目受众
本项目适合以下学习者：
- 想要使用或体验 LLM，但无条件获得或使用相关 API；
- 希望长期、低成本、大量应用 LLM；
- 对开源 LLM 感兴趣，想要亲自上手开源 LLM；
- NLP 在学，希望进一步学习 LLM；
- 希望结合开源 LLM，打造领域特色的私域 LLM；
- 以及最广大、最普通的学生群体。
项目规划及进展
本项目拟围绕开源 LLM 应用全流程组织，包括环境配置及使用、部署应用、微调等，每个部分覆盖主流及特点开源 LLM：
项目地址
https://github.com/datawhalechina/self-llm?tab=readme-ov-file
已支持模型
- Llama3_1-8B-Instruct
- Llama3_1-8B-Instruct FastApi 部署调用
- Llama3_1-8B-Instruct langchain 接入
- Llama3_1-8B-Instruct WebDemo 部署
- Llama3_1-8B-Instruct Lora 微调
- Gemma-2-9b-it
- Gemma-2-9b-it FastApi 部署调用
- Gemma-2-9b-it langchain 接入
- Gemma-2-9b-it WebDemo 部署
- Gemma-2-9b-it Peft Lora 微调
- Yuan2.0
- Yuan2.0-2B FastApi 部署调用
- Yuan2.0-2B Langchain 接入
- Yuan2.0-2B WebDemo部署
- Yuan2.0-2B vLLM部署调用
- Yuan2.0-2B Lora微调
- Yuan2.0-M32
- Yuan2.0-M32 FastApi 部署调用
- Yuan2.0-M32 Langchain 接入
- Yuan2.0-M32 WebDemo部署
- DeepSeek-Coder-V2
- DeepSeek-Coder-V2-Lite-Instruct FastApi 部署调用
- DeepSeek-Coder-V2-Lite-Instruct langchain 接入
- DeepSeek-Coder-V2-Lite-Instruct WebDemo 部署
- DeepSeek-Coder-V2-Lite-Instruct Lora 微调
- 哔哩哔哩 Index-1.9B
- Index-1.9B-Chat FastApi 部署调用
- Index-1.9B-Chat langchain 接入
- Index-1.9B-Chat WebDemo 部署
- Index-1.9B-Chat Lora 微调
- Qwen2
- Qwen2-7B-Instruct FastApi 部署调用
- Qwen2-7B-Instruct langchain 接入
- Qwen2-7B-Instruct WebDemo 部署
- Qwen2-7B-Instruct vLLM 部署调用
- Qwen2-7B-Instruct Lora 微调
- GLM-4
- GLM-4-9B-chat FastApi 部署调用
- GLM-4-9B-chat langchain 接入
- GLM-4-9B-chat WebDemo 部署
- GLM-4-9B-chat vLLM 部署
- GLM-4-9B-chat Lora 微调
- Qwen 1.5
- Qwen1.5-7B-chat FastApi 部署调用
- Qwen1.5-7B-chat langchain 接入
- Qwen1.5-7B-chat WebDemo 部署
- Qwen1.5-7B-chat Lora 微调
- Qwen1.5-72B-chat-GPTQ-Int4 部署环境
- Qwen1.5-MoE-chat Transformers 部署调用
- Qwen1.5-7B-chat vLLM推理部署
- Qwen1.5-7B-chat Lora 微调 接入SwanLab实验管理平台
- 谷歌-Gemma
- gemma-2b-it FastApi 部署调用
- gemma-2b-it langchain 接入
- gemma-2b-it WebDemo 部署
- gemma-2b-it Peft Lora 微调
- phi-3
- Phi-3-mini-4k-instruct FastApi 部署调用
- Phi-3-mini-4k-instruct langchain 接入
- Phi-3-mini-4k-instruct WebDemo 部署
- Phi-3-mini-4k-instruct Lora 微调
- CharacterGLM-6B
- CharacterGLM-6B Transformers 部署调用
- CharacterGLM-6B FastApi 部署调用
- CharacterGLM-6B webdemo 部署
- CharacterGLM-6B Lora 微调
- LLaMA3-8B-Instruct
- LLaMA3-8B-Instruct FastApi 部署调用
- LLaMA3-8B-Instruct langchain 接入
- LLaMA3-8B-Instruct WebDemo 部署
- LLaMA3-8B-Instruct Lora 微调
- XVERSE-7B-Chat
- XVERSE-7B-Chat transformers 部署调用
- XVERSE-7B-Chat FastApi 部署调用
- XVERSE-7B-Chat langchain 接入
- XVERSE-7B-Chat WebDemo 部署
- XVERSE-7B-Chat Lora 微调
- TransNormerLLM
- TransNormerLLM-7B-Chat FastApi 部署调用
- TransNormerLLM-7B-Chat langchain 接入
- TransNormerLLM-7B-Chat WebDemo 部署
- TransNormerLLM-7B-Chat Lora 微调
- BlueLM Vivo 蓝心大模型
- BlueLM-7B-Chat FatApi 部署调用
- BlueLM-7B-Chat langchain 接入
- BlueLM-7B-Chat WebDemo 部署
- BlueLM-7B-Chat Lora 微调
- InternLM2
- InternLM2-7B-chat FastApi 部署调用
- InternLM2-7B-chat langchain 接入
- InternLM2-7B-chat WebDemo 部署
- InternLM2-7B-chat Xtuner Qlora 微调
- DeepSeek 深度求索
- DeepSeek-7B-chat FastApi 部署调用
- DeepSeek-7B-chat langchain 接入
- DeepSeek-7B-chat WebDemo
- DeepSeek-7B-chat Lora 微调
- DeepSeek-7B-chat 4bits量化 Qlora 微调
- DeepSeek-MoE-16b-chat Transformers 部署调用
- DeepSeek-MoE-16b-chat FastApi 部署调用
- DeepSeek-coder-6.7b finetune colab
- Deepseek-coder-6.7b webdemo colab
- MiniCPM
- MiniCPM-2B-chat transformers 部署调用
- MiniCPM-2B-chat langchain 接入
- MiniCPM-2B-chat webdemo 部署
- MiniCPM-2B-chat Lora && Full 微调
- 官方友情链接：面壁小钢炮MiniCPM教程
- Qwen-Audio
- Qwen-Audio FastApi 部署调用
- Qwen-Audio WebDemo
- Qwen
- Qwen-7B-chat Transformers 部署调用
- Qwen-7B-chat FastApi 部署调用
- Qwen-7B-chat WebDemo
- Qwen-7B-chat Lora 微调
- Qwen-7B-chat ptuning 微调
- Qwen-7B-chat 全量微调
- Qwen-7B-Chat 接入langchain搭建知识库助手
- Qwen-7B-chat 低精度训练
- Qwen-1_8B-chat CPU 部署
- Yi 零一万物
- Yi-6B-chat FastApi 部署调用
- Yi-6B-chat langchain接入
- Yi-6B-chat WebDemo
- Yi-6B-chat Lora 微调
- Baichuan 百川智能
- Baichuan2-7B-chat FastApi 部署调用
- Baichuan2-7B-chat WebDemo
- Baichuan2-7B-chat 接入 LangChain 框架
- Baichuan2-7B-chat Lora 微调
- InternLM
- InternLM-Chat-7B Transformers 部署调用
- InternLM-Chat-7B FastApi 部署调用
- InternLM-Chat-7B WebDemo
- Lagent+InternLM-Chat-7B-V1.1 WebDemo
- 浦语灵笔图文理解&创作 WebDemo
- InternLM-Chat-7B 接入 LangChain 框架
- Atom (llama2)
- Atom-7B-chat WebDemo
- Atom-7B-chat Lora 微调
- Atom-7B-Chat 接入langchain搭建知识库助手
- Atom-7B-chat 全量微调
- ChatGLM3
- ChatGLM3-6B Transformers 部署调用
- ChatGLM3-6B FastApi 部署调用
- ChatGLM3-6B chat WebDemo
- ChatGLM3-6B Code Interpreter WebDemo
- ChatGLM3-6B 接入 LangChain 框架
- ChatGLM3-6B Lora 微调
通用环境配置
- pip、conda 换源
- AutoDL 开放端口
- 模型下载
-
hugging face
-
hugging face 镜像下载
-
modelscope
-
git-lfs
-
Openxlab
机器学习算法AI大数据技术
搜索公众号添加： datanlp
长按图片，识别二维码
阅读过本文的人还看了以下文章：
整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主
基于40万表格数据集TableBank，用MaskRCNN做表格检测
《深度学习入门：基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分？
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx
本文未经授权，禁止商业使用