人工智能“军备竞赛”:谷歌与OpenAI的大模型之争

火山方舟向量数据库人工智能与算法

在人工智能的发展过程中, 谷歌与OpenAI展开了一场激烈的大模型之争 。这场竞争不仅关乎技术和市场优势,更是一场关于人工智能未来发展方向的较量。两家公司纷纷投入巨资,试图在这场“军备竞赛”中脱颖而出。

picture.image

在这场竞争中,谷歌推出了Gemini,而OpenAI则推出了ChatGPT。到底谁是史上最强大模型,让我们拭目以待。

picture.image

让我们一起回顾一下AI大模型之争的关键技术时间线。

2017年:
DeepMind在早期提出了RLHF概念,这一创新性理念后来成为了解锁ChatGPT卓越“涌现”能力的关键所在。 通过采用人工标注作为反馈机制,RLHF成功地提升了强化学习在模拟机器人以及游戏领域的表现效果。

2017年6月:

Google通过《Attention is all your need》发布了Transformer ,这一NLP领域的里程碑。Transformer不仅成为了后来所有LLM(大语言模型)的基础架构,同时也为GPT(Generative Pre-trained Transformer)的诞生创造了前提。

2018年6月:

在Transformer取得突破之后不到一年的时间, OpenAI发布了一种仅包含解码器(decoder-only)的GPT生成式预训练模型 。该模型经过大规模、无监督的预训练和有监督的微调,旨在通过大数据集的训练来实现出色的模型构建。 GPT的推出标志着生成式AI的正式进入。

2018年10月:

Google推出了一款具有划时代意义的模型——BERT ,其规模比GPT大4倍,拥有3.4亿参数,展现出了卓越的性能。 BERT在各种NLP任务中都展现出了碾压GPT的实力 ,其卓越的表现让人们看到了NLP领域的无限潜力。

2019年2月:

OpenAI 面对BERT的巨大成功,感受到了巨大的压力, 他们决定继续深入生成式模型的研究,并加大了投入。于是,他们提出了 参数数量高达15亿的GPT-2 。在架构上,GPT-2并没有特别的创新,它主要是基于Transformer的解码器,并做了一些修改。

2019年10月:

Google推出了一款统一的模型框架——T5 ,该框架采用了基于编码解码器的方法。与BERT只有编码器不同,GPT只有解码器,而T5则结合了两者的优势。此外, T5的最大模型拥有高达110亿个参数 ,并对外开放,这使得T5在性能上具有极大的优势。

T5不仅兼容了BERT和GPT的下游任务,而且还在此基础上进行了改进 。它的出现让 Google在NLP领域再次占据了领先地位

2020年5月:
OpenAI在生成式AI的道路上坚定地前行,发布了规模惊人的GPT-3。该模型拥有1750亿个参数,是GPT-2的两个数量级,展示了OpenAI在人工智能领域的卓越实力 。GPT-3的发布在业内掀起了AGI(通用人工智能)的热浪,各大巨头纷纷投入,标志着人工智能领域进入了新的发展阶段。

2021年10月:

Google推出了FLAN,一款拥有1370亿参数的庞大模型,这标志着Google在模型规模上的新突破 。令人瞩目的是,Google此次开始转向仅使用解码器的模型架构,这与他们过去的编码器-解码器结构有所不同。

2022年1月:

Google再次推出LaMDA,这款拥有1370亿参数的巨大模型,展现了接近人类对话水平的出色性能。 在安全性和事实基础方面,LaMDA也取得了显著的改进,使得人们对其产生了极高的期待。

2022年3月:

OpenAI发布经过精心训练的InstructGPT它采用了独特的Instruction Finetune和强化学习(RLHF)方法 ,使它比GPT-3更擅长与人类进行自然、流畅的对话。

2022年4月:

Google发布了基于通用AI架构的PaLM ,其拥有高达5400亿参数。Google提出了思维链,这一概念揭示了模型如何通过理解和推理来生成连贯的文本。

2022年9月:

DeepMind发布了Sparrow,该模型拥有700亿个参数 ,并整合了强化学习人类反馈(RLHF)和检索式预训练等前沿技术。然而,尽管DeepMind在发布会上对Sparrow寄予了高度期待,但市场反应却相对平淡。

2022年12月:

OpenAI的ChatGPT如狂风骤雨般席卷全球 ,以其强大的能力和独特的优势,成为了人工智能领域的一颗璀璨明星。作为InstructGPT的兄弟模型,ChatGPT一经问世便迅速引爆全球,引发了广泛的关注和热议。

2023年2月:
Google发布了基于LaMDA的Bard,正式与OpenAI的ChatGPT展开对决。

2023年3月:
OpenAI推出多模态的GPT-4,GPT-4在许多真实世界的场景中表现出了接近或达到人类水平的性能,虽然在许多现实世界场景中的能力不如人类,但在各种专业和学术基准上表现出人类水平的表现。

2023年11月:

OpenAI在首届开发者大会上发布GPT-4 Turbo, GPT-4 Turbo提供了更新的训练数据,使其知识库更新到了2023年4月。不仅支持文本处理,还支持多模态能力。它可以处理图像,生成与图像相关的文本信息,包括图像描述、文档分析以及文本转语音。

2023年12月:

Google正式上线Gemini。这次发布的Gemini是原生多模态,多模态的Gemini 可以理解、操作和结合不同类型的信息,包括文本、代码、音频、图像和视频。

为了与 OpenAI 展开竞争,谷歌果断从 PaLM 切换到了Gemini ,甚至在今年 4 月份直接把谷歌大脑(Google Brain)和

DeepMind

合并在了一起,Gemini 就由新组成的 Google

DeepMind

汇合两个实验室的力量进行攻关。

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
字节跳动 XR 技术的探索与实践
火山引擎开发者社区技术大讲堂第二期邀请到了火山引擎 XR 技术负责人和火山引擎创作 CV 技术负责人,为大家分享字节跳动积累的前沿视觉技术及内外部的应用实践,揭秘现代炫酷的视觉效果背后的技术实现。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论