Microsoft AI于2024-04-15推出并开源了WizardLM-2，这是最新一代的先进大型语言模型，它们在复杂对话、多语言、推理和代理方面的性能得到了提升。新的模型家族包括三个尖端模型： WizardLM-2 8x22B、WizardLM-2 70B和WizardLM-2 7B。
🧙♀️ WizardLM-2 8x22B 是WizardLM系列最先进的模型，性能仅略逊于 GPT-4-1106-preview。
🧙 WizardLM-2 70B 在同等规模下达到了顶级能力。
🧙♀️ WizardLM-2 7B 甚至能够与现有的规模大十倍的开源领先模型相媲美。
WizardLM-2 8x22B 和 WizardLM-2 7B 的模型权重已在 Huggingface 上共享，而 WizardLM-2 70B 以及所有模型的演示将在未来几天内提供。
WizardLM-2是在语言大模型后训练扩展方面的最新里程碑，WizardLM系列模型的发展历程：
随着自然世界中人类生成的数据通过大型语言模型（LLM）训练变得越来越稀少，由人工智能精心创建的数据以及由人工智能逐步监督的模型将是实现更强大的人工智能的唯一途径。因此，构建了一个完全由人工智能驱动的合成训练系统来提升 WizardLM-2 的性能：
还采用了基于GPT-4的自动MT-Bench评估框架，这是由lmsys提出的，以评估模型的性能。WizardLM-2 8x22B甚至与最先进的专有作品如GPT-4-Trubo和Glaude-3相比，展现出极具竞争力的性能。同时，WizardLM-2 7B和WizardLM-2 70B在7B到70B模型规模的其他领先基线中都是表现最佳的模型。
https://wizardlm.github.io/WizardLM2/
https://huggingface.co/microsoft/WizardLM-2-8x22B
https://twitter.com/WizardLM_AI/status/1779899325868589372
推荐阅读
- • 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
- • 2024：ToB、Agent、多模态
- • TA们的RAG真正投产了吗？（上）
- • Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“ PaperAgent ”， 每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。