智谱GLM-4发布，评测效果逼近GPT4，直接说几个比较重要的结论 - 文章 - 开发者社区

终究我还是写了这篇文章。

作为一个 NLP、大模型的算法攻城狮，作为一个 AI 领域前沿追随者，GLM-4 的发布是一定要看的，因为三点：技术要用、面试会考、AI 前沿要关注。

不仅仅是我关注，很多人都在关注，智谱的光环早已经进入大众视野。

智谱之所以受到大众的关注，背后的清华团队自然是加分项，还有就是他们在一直在走开源路线，从 ChatGLM、ChatGLM2 到 GhatGLM3 的发布，为国内大模型的发展贡献了太多力量，更何况他们今天发布的 GLM-4 是对标行业 top:GPT4。

picture.image

先说几个比较重要的结论

1、性能全面提升 ，基础能力（英文）不足 GPT-4，指令跟随能力（中英）也是不足 GPT-4**，对齐能力（中文）上面优于 GPT-4** 。这是个好事啊，中文的提升，对我们的日常使用，无论是基于应用层的 prompt 还是基于底座大模型的微调都是有益处的。

2、更长的上下文 ，LongBench (128K)，主要是总结、信息抽取、复杂推理、代码等应⽤场景。其中 GLM-4 分数 81.1，GPT-4 是 71.2。国内上下文我用着最好的是月之暗面的 kimi，不知道 kimi 能打多少分？

3、多模态能力 ，文生图模型 CogView3，和 DALLE3 做了对比，从评测数据上看，都是有差距的。实际体验来看，也确实如此，我用 CogView3 画了几张中国龙的封面图片，毕竟快春节了，最近正好做点红包封面，效果说的过去，但又过不了关。

4、GLM-4 ALL Tools ，用户意图理解，模型自动选择自由调用文生图、代码解释器、网页浏览、Function Call 等多项工具来完成复杂任务。这个确实不错，根据用户

5、GLMs 模型应用商店，开发者分成计划也将同期公布 ，这个是真的对标 OpenAI 啊，那边刚上线一个 GPT Store，也要做开发者分成计划。

6、体验地址 ：https://www.chatglm.cn/

其他的可以自己去体验体验，很方便，这里不多说了，智谱发布会完整的 ppt 内容，包括以上结论的详细数据，这里免费获取

免费获取链接 🔗：https://t.zsxq.com/16cJYMiYl

picture.image

智谱一路走来，很赞。

ChatGLM-6B

picture.image

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。

结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答，更多信息请参考我们的博客。欢迎通过 chatglm.cn 体验更大规模的 ChatGLM 模型。

链接 🔗： https://github.com/THUDM/ChatGLM-6B

ChatGLM2-6B

picture.image

ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2-6B 引入了如下新特性：

更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，ChatGLM2-6B 在 MMLU（+23%）、CEval（+33%）、GSM8K（+571%）、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。
更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练。对于更长的上下文，我们发布了 ChatGLM2-6B-32K 模型。LongBench 的测评结果表明，在等量级的开源模型中，ChatGLM2-6B-32K 有着较为明显的竞争优势。
更高效的推理：基于 Multi-Query Attention 技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。
更开放的协议：ChatGLM2-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用

链接 🔗： https://github.com/THUDM/ChatGLM2-6B

ChatGLM3-6B

picture.image

ChatGLM3 是智谱 AI 和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：

更强大的基础模型：ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，_ ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能_。
更完整的功能支持：ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
更全面的开源序列：除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

链接 🔗： https://github.com/THUDM/ChatGLM3

ChatGLM3 采用了和 LLAMA 很相似的模型架构，衍生出来目前的 GLM-4,说明 LLAMA 不可小觑。

国产大模型一步步走来不容易，希望越来越好。

--- end ---

我是大林，NLP 高级算法工程师，主要从事自然语言处理(NLP)、知识图谱、大模型领域的实际业务落地。持续关注 AIGC 趋势发展，和大家一起交流。加我微信(dalinvip2023)，备注【公众号 AIGC】，进 AIGC 交流群一起交流(还有数字人、绘画、技术、AI 变现多方向。)

AIGC 知识库 ：https://szqxz4m7fs.feishu.cn/wiki/wikcnMJ5qdVdOJ03XsBZFuXIRkf

如果文章对你有一点点🤏🏻帮助，点赞、在看、帮忙转发给更多的朋友，是最大的支持，谢谢。