基于ChatGLM的扩展模型

• 对 ChatGLM 进行加速或者重新实现的开源项目：

• SwissArmyTransformer[1]: 一个Transformer统一编程框架，ChatGLM-6B已经在SAT中进行实现并可以进行P-tuning微调。

• ChatGLM-MNN[2]: 一个基于 MNN 的 ChatGLM-6B C++ 推理实现，支持根据显存大小自动分配计算任务给 GPU 和 CPU

• JittorLLMs[3]: 最低3G显存或者没有显卡都可运行ChatGLM-6B FP16， 支持Linux、windows、Mac部署

• 基于或使用了 ChatGLM-6B 的开源项目：

• chatgpt_academic[4]: 支持ChatGLM-6B的学术写作与编程工具箱，具有模块化和多线程调用LLM的特点，可并行调用多种LLM。

• 闻达[5]: 大型语言模型调用平台，基于 ChatGLM-6B 实现了

• 类 ChatPDF 功能

• glm-bot[6]: 将ChatGLM接入Koishi可在各大聊天平台上调用

• ChatGLM

• Chinese-LangChain[7]: 中文langchain项目，基于

• ChatGLM-6b+langchain实现本地化知识库检索与智能答案生成，

• 增加web search功能、知识库选择功能和支持知识增量更新

• bibliothecarius[8]: 快速构建服务以集成您的本地数据和AI模型，

• 支持ChatGLM等本地化模型接入。

• langchain-ChatGLM[9]: 基于 langchain 的 ChatGLM 应用，

• 实现基于可扩展知识库的问答

• ChatGLM-web[10]: 基于FastAPI和Vue3搭建的ChatGLM演示网站

• (支持chatglm流式输出、前端调整模型参数、上下文选择、

• 保存图片、知识库问答等功能)

• ChatGLM-6B-Engineering[11]: 基于 ChatGLM-6B 后期调教，

• 网络爬虫及 Stable Diffusion 实现的网络搜索及图片生成

• ChatGLM-OpenAI-API[12]: 将 ChatGLM-6B 封装为 OpenAI API

• 风格，并通过 ngrok/cloudflare 对外提供服务，从而将 ChatGLM

• 快速集成到 OpenAI 的各种生态中。

• 对 ChatGLM-6B 进行微调的开源项目：

• InstructGLM[13]: 基于ChatGLM-6B进行指令学习，汇总开源中英

• 文指令数据，基于Lora进行指令数据微调，开放了Alpaca、Belle微调

• 后的Lora权重，修复web_demo重复问题

• ChatGLM-Efficient-Tuning[14]: 基于ChatGLM-6B模型进行定制

• 化微调，汇总10余种指令数据集和3种微调方案，实现了4/8比特量化

• 和模型权重融合，提供微调模型快速部署方法。

• ChatGLM-Finetuning[15]: 基于ChatGLM-6B模型，进行下游具体

• 任务微调，涉及Freeze、Lora、P-tuning等，并进行实验效果对比。

• ChatGLM-Tuning[16]: 基于 LoRA 对 ChatGLM-6B 进行微调。类

• 似的项目还包括 Humanable ChatGLM/GPT Fine-tuning |

• ChatGLM 微调[17]

• 针对 ChatGLM-6B 的教程/文档：

• Windows部署文档[18]

• 搭建深度学习docker容器以运行 ChatGLM-6B - Luck_zy[19]

  参考文献 ：

[1] https://github.com/THUDM/SwissArmyTransformer

[2 ] https://github.com/wangzhaode/ChatGLM-MNN

[3 ] https://github.com/Jittor/JittorLLMs

[4 ] https://github.com/binary-husky/chatgpt\_academic

[5 ] https://github.com/l15y/wenda

[6 ] https://github.com/initialencounter/glm-bot

[7 ] https://github.com/yanqiangmiffy/Chinese-LangChain

[8 ] https://github.com/coderabbit214/bibliothecarius

[9 ] https://github.com/imClumsyPanda/langchain-ChatGLM

[10 ] https://github.com/NCZkevin/chatglm-web

[11] https://github.com/LemonQu-GIT/ChatGLM-6B-Engineering

[12] https://github.com/ninehills/chatglm-openai-api

[13] https://github.com/yanqiangmiffy/InstructGLM

[14] https://github.com/hiyouga/ChatGLM-Efficient-Tuning

[15] https://github.com/liucongg/ChatGLM-Finetuning

[16] https://github.com/mymusise/ChatGLM-Tuning

[17] https://github.com/hscspring/hcgf

[18] https://github.com/ZhangErling/ChatGLM-6B/blob/main/deployment\_windows.md

[19] https://www.luckzym.com/tags/ChatGLM-6B/