自然语言处理的许多最新进展都依赖于大型预训练语言模型。然而，这一领域的快速科学进步是不可能的没有开放获取的 LLM，这开放获取 LLM 的主要优势在于，研究人员可以在本地部署它们并在使用专有 API 无法实现的方式。 随着大型语言模型 （LLM） 的广泛采用，许多深入学习从业者正在寻找运行这些模型的策略有效。其中一种策略是使用稀疏专家混合 （MoE） —只有一小部分模型层处于活动状态的模型体系结构