昨天聊完：Open LLM榜单：MoE、DPO；今天就有一个商业MoE大模型发布了。
MiniMax-MoE
发布大语言模型 abab6，为国内首个 MoE 大语言模型。在 MoE 结构下，abab6 拥有大参数带来的处理复杂任务的能力，同时模型在单位时间内能够训练足够多的数据，计算效率也可以得到大幅提升。改进了 abab5.5 在处理更复杂、对模型输出有更精细要求场景中出现的问题。
1、MOE架构：效果与效率
在该结构下，模型参数被划分为多组“专家”，每次推理时只有一部分专家参与计算。基于 MoE 结构，abab6 可以具备大参数带来的处理复杂任务的能力；计算效率也会得到提升，模型在单位时间内能够训练足够多的数据。
2、 abab6测评结果：在复杂场景下表现更好
IFEval：这个评测主要测试模型遵守用户指令的能力。
MT-Bench：这 个评测衡量模型的英文综合能力。包括角色扮演、写作、信息提取、推理、数学、代码、知识问答。
AlignBench：该评测反映了模型的中文综合能力测试，测试形式与 MT-Bench 类似。
结论：
abab6 在三个测试集中 均明显好于 我们前一代模型 abab5.5。在指令遵从、中文综合能力和英文综合能力上，abab6 大幅超过了 GPT-3.5。和 Claude 2.1 相比，abab6 也在指令遵从、中文综合能力和英文综合能力上 略胜一筹 。相较于 Mistral 的商用版本 Mistral-Medium，abab6 在指令遵从和中文综合能力上 都优于 Mistral-Medium，在英文综合能力上与 Mistral- Medium 旗鼓相当。
GLM4
1、性能全面提升
对齐能力（中文）
指令跟随能力（中英文）
2、128K上下文“大海捞针”
128k全绿，做到100%精准召回
3 、GLM4 ALL Tools
更长上下文、多模态，模型自动选择：文生图、代码解释器、网页浏览
4 、GLMs个性化智能体
-
用简单的提示词指令就能创建属于自己的GLM个性化智能体
-
智能体中心同步上线，可以分享自己创建的各种智能体
PS：图片来源于智谱开放日PPT，最新发布内容可以在 智谱清言 上体验！