前OpenAI 联合创始人、SSI创始人 Ilya Sutskever 近日在温哥华的神经信息处理系统会议上发表重要观点:大语言模型(LLMs)在预训练阶段的规模扩展已达到瓶颈。虽然计算能力在不断提升,但数据增长已趋缓,新数据和合成数据也难以带来突破性进展。
Sutskever 用人类大脑发展做了一个生动的类比:就像人类大脑在体积上停止生长后,人类智慧仍在进步一样,AI 的未来发展将转向在现有大语言模型基础上构建 AI 代理和工具。这就像 iPhone 的发展历程 - 硬件规模增长达到极限后,重点转向了应用生态的创新。
他预测,2025 年将成为 AI Agent的元年。AI Agent可以在编程、内容创作等领域发挥重要作用,通过自我意识的学习和序列到序列的学习模式,推动 AI 领域向前发展。
Agent的爆发已经成为业内共识,随着端侧和多模态LLM技术的突破性进展,AI 领域将进入一个新的发展阶段。
Ilya演讲全记录:
后台回复“进群”入群讨论。