测试时计算vs.预训练计算:LLM进化的重大转折

OpenAI o1模型的发布，一篇来自UC Berkeley和Google DeepMind的研究团队的论文《Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters[1]》被扒出，为我们揭示了一个令人振奋的发现：优化LLM的测试时计算可能比简单地增加模型参数更有效。 这项研究不仅挑战了我们对LLM发展的传统认知，更为未来AI系统的设计和部署提供了全新的思路。让我们一起深入探讨这项研究的核心发现及其潜在影响。

研究的核心问题：计算资源如何分配最有效？

在AI领域，我们经常听到"更大就是更好"的说法。的确，增加模型的参数量通常能带来性能的提升。但是，这种方法也面临着巨大的计算成本和部署难度。研究团队提出了一个创新的问题：如果我们允许LLM在测试阶段使用固定但非微不足道的计算资源，它能在多大程度上提高自己在复杂任务上的表现？ 这个问题不仅关乎LLM的性能提升，更涉及到未来AI系统的训练和部署策略。如果我们能在测试阶段通过智能的计算分配达到与增加模型规模相似的效果，这将为AI的应用带来革命性的变化。

研究方法：两种测试时计算优化策略

研究团队主要探索了两种测试时计算优化的机制：

1. 基于密集过程验证器（Process-based Verifier Reward Models，PRMs）的搜索策略
2. 根据输入提示自适应更新模型输出分布的方法

这两种方法都旨在让模型在面对复杂问题时能够更加灵活和高效地利用额外的计算资源。 具体来说，PRM搜索策略的工作原理是：

1. 模型首先生成多个可能的答案。
2. 使用PRM评估每个答案的质量。
3. 基于评估结果，模型进行进一步的搜索或优化。

例如，在解决数学问题时，模型可能会生成多个解题思路，然后使用PRM评估每个思路的合理性和正确性，最后选择或优化最佳思路。 而自适应更新输出分布的方法则允许模型根据特定输入动态调整其生成策略。例如，对于一个复杂的逻辑推理问题，模型可能会自动增加生成步骤的数量或改变推理的深度。

关键发现：计算优化的效果取决于问题难度

研究的一个重要发现是，不同的计算优化策略在面对不同难度的问题时，效果各不相同。

例如：对于相对简单的问题，让模型迭代修改其初始答案可能是更有效的策略。而对于更复杂的问题，独立采样多个回答或使用基于PRMs的树搜索可能更有优势。这一发现启发我们，在实际应用中应该采用"计算优化"的策略，根据问题的难度动态选择最合适的计算分配方式。

具体例子：

1. 简单问题：对于"1+1=?"这样的简单问题，模型可能只需要一次生成就能得到正确答案，额外的计算资源可能用于提高置信度。
2. 中等难度问题：例如"求解方程 2x^2 + 5x - 3 = 0"，模型可能会先给出一个初步解答，然后通过几轮迭代修改来优化结果。
3. 高难度问题：对于复杂的数学证明或长链逻辑推理，模型可能需要生成多个不同的解答路径，然后使用PRM评估每条路径的可行性，最后综合得出最佳答案。

惊人的结果：测试时计算vs.预训练计算

研究团队进行了一项令人瞩目的对比实验：他们将一个较小模型（PaLM 2-S*）配合优化的测试时计算策略，与一个参数量大约14倍的预训练模型进行了比较。结果令人震惊： 在简单和中等难度的问题上，优化测试时计算的小模型往往能够超越大模型的表现。 即使在某些困难问题上，只要满足特定的预训练和推理工作负载条件，测试时计算优化仍然可能优于简单增加预训练规模。

在容易和中等的问题上，这些问题在模型的能力范围内，或者在推理需求较小的设置中，测试时的计算可以轻松地弥补额外的预训练。然而，在具有挑战性的问题上，这些问题超出了给定基础模型的能力范围，或者在更高的推理需求下，预训练更有可能提高性能。具体数据显示：

• 在MATH数据集的简单问题上，当推理计算量远小于预训练计算量时，测试时计算优化策略相比大模型提升了21.6%的准确率。
• 在中等难度问题上，当推理计算量约等于预训练计算量时，测试时计算优化策略仍然能够提升3.5%的准确率。
• 然而，在困难问题上，当推理计算量远大于预训练计算量时，大模型的表现优于测试时计算优化策略，后者的准确率下降了37.2%。

由此可见，选择扩大模型参数量还是增大推理计算量是一个权衡过程，在简单的问题或低推理负载的情况下（例如<< 1），测试时计算通常可以优于扩展模型参数。然而，在困难的问题或高推理负载的情况下（例如>> 1），预训练是提高性能更有效的方法。这一发现对AI领域的发展方向提出了深刻的启示：也许我们应该将更多注意力放在如何智能地利用测试时的计算资源，而不是一味追求更大的模型规模。

机会与挑战

这项研究为我们勾勒出了一幅令人兴奋的未来图景：在这个未来中，AI系统的设计将更加注重计算资源的灵活分配，而不是简单地堆砌更多的模型参数。这种方法不仅可能带来性能的提升，还有望大大降低AI系统的部署和运行成本。

例如，在移动设备或边缘计算环境中，我们可能会看到更多小型但高度优化的模型，它们能够根据任务难度动态调整计算资源，从而在有限的硬件条件下实现接近大型数据中心模型的性能。

然而，研究也指出，在最具挑战性的问题上，增加预训练计算仍然是更有效的方法。这说明当前的测试时计算优化策略还有进一步提升的空间，未来可能会出现更加高效的优化方法。例如，开发更先进的验证器模型，或者设计能够在更多步骤中维持长期依赖关系的搜索算法。

结语

总的来说，这项研究为我们展示了AI发展的一个新方向：通过智能地优化测试时计算，我们可能实现与增加模型规模相媲美甚至更好的效果。这不仅是技术上的突破，更是AI系统设计理念的革新。随着这一领域的不断发展，我们有理由期待看到更多创新的计算优化策略涌现。这些策略将帮助我们构建更加智能、高效且易于部署的AI系统，为AI的广泛应用铺平道路。

参考资料：

[1] Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters: https://arxiv.org/pdf/2408.03314

近期原创文章：

• AI"破解"AI：来自Claude协助的OpenAI o1模型架构图
• OpenAI o1模型推理能力大幅提升的背后：重复采样如何提升AI推理能力
• OpenAI前研究科学家开源面向未来的提示工程库 ell，重新定义提示工程
• 揭秘MemoRAG：AI记忆模块如何提升生成质量
• Rerankers标准化重排序过程，一行代码就能拥有
• 长文本分块的新策略——后期分块（Late Chunking），让RAG应用"又准又高效"
• 合成数据成为7B模型具备强大数学能力的关键

后台回复“入群”进群讨论。