本周大事件 - 文章 - 开发者社区

Google 与 OpenAI LLM 领域的发展时间线

picture.image

2017年，DeepMind最早提出了RLHF概念，这一后来解锁ChatGPT重要「涌现」能力的关键，它通过人工标注作为反馈，提升了强化学习在模拟机器人以及游戏上的表现效果。
同年6月，Google发布NLP领域的里程碑——Transformer，成为后来所有LLM的基础架构，也为GPT铺就了前提。
2018年6月，在Transformer问世不到一年的时间，OpenAI发布了只有解码器（decoder-only）的GPT生成式预训练模型，通过大数据集进行训练，并主张通过大规模、无监督预训练+有监督微调进行模型构建。
2018年10月，Google重磅推出著名的具有划时代意义的BERT，一个比GPT大四倍，拥有3.4亿参数的大模型，几乎在所有表现上碾压了GPT。而自带光环的BERT只有编码器，用一种「完形填空」的方法，其训练效果超过人类表现，宣告NLP范式的改变。
2019年2月，被碾压的OpenAI准备背水一战，此时一个重要的命题摆在面前，BERT的大火让是否坚持做生成式模型成为一种灵魂拷问，但OpenAI坚定自己的目标——AGI，孤勇直前地践行生成式，并加倍投入，提出有15亿参数的GPT-2，并没有特别新颖的架构，它只是基于Transformer的解码器，稍做修改。尽管最初OpenAI并不愿意发布它，因担心它可能被用来向社交网络发送假新闻。
2019年10月，Google发布了统一的模型框架——T5，基于编码解码器的T5（BERT只有编码，GPT只用解码），最大模型110亿参数并开放。兼容了BERT和GPT下游任务的T5，再次让Google风光无两。
2020年5月，卧薪尝胆的OpenAI，在生成式之路一往无前，发布了规模是GPT-2两个数量级的1750亿参数的GPT-3，在业内掀起AGI热浪，也拉响了巨头规模竞赛的号角。
2021年10月，Google推出FLAN（1370亿参数），并从此开始重新转向只有解码器的模型，还提出了ChatGPT用到的Instruction Tuning概念。
2022年1月，Google再推LaMDA（1370亿参数），展示了接近人类水平的对话质量以及在安全性和事实基础方面的显著改进，并称其可能具有「意识」。所有人在当时觉得Google已在LLM遥遥领先。
2022年3月，OpenAI发表经过「魔鬼调教」的InstructGPT（1750亿参数），提到采用Instruction Finetune和RLHF，比GPT-3更擅长与人类「沟通」，但并未引起大规模的关注。
2022年4月，Google发布基于「通用AI架构」的语言模型PaLM（5400亿参数），文中提到了那一神奇的「激发」ChatGPT逻辑能力的「思维链」。
2022年9月，DeepMind发表Sparrow（700亿），加入RLHF和Retrival，但反应平平。
2022年12月，OpenAI的ChatGPT席卷而来，是InstructGPT的兄弟模型，一经问世迅速引爆全球，堪称人类对AGI里程碑的一步。
2023年2月，Google发布基于LaMDA的Bard，正式对决ChatGPT。

参考：https://hub.baai.ac.cn/view/23989

软宣布新的必应

picture.image

2023年2月7日微软宣布新的必应发布，新的Bing搜索引擎特性：

OpenAI：下一代语言模型
普罗米修斯（Prometheus ）模型：提高，提高搜索结果的相关性，对答案进行注释，显示最新结果，了解地理位置，增加安全性。
核心搜索索引：应用了人工智能模型，也是二十年来相关领域最大跳跃。
用户体验（集成）：搜索汇集了答案、聊天和浏览器

参考：https://blogs.microsoft.com/blog/2023/02/07/reinventing-search-with-a-new-ai-powered-microsoft-bing-and-edge-your-copilot-for-the-web/

GPT-4 将发布

2023年3月9日，微软德国 CTO Andreas Braun 在一场名为 “AI in Focus - Digital Kickoff” 的活动中表示，GPT-4 将在下周发布，将提供多模态模型。此次 GPT4 转向多模态，未来的输入输出将出现图像、视频等形态，或将在业内产生更具颠覆性的影响。这使得 GPT-4 可以应用于多个领域，如自然语言生成、智能问答、语音识别和翻译等。

参考：https://www.heise.de/news/GPT-4-is-coming-next-week-and-it-will-be-multimodal-says-Microsoft-Germany-7540972.html

微软尝试将ChatGPT添加到Word, Outlook, PowerPoint中

picture.image

微软已经讨论了在 Word、PowerPoint、Outlook 和其他应用程序中加入 OpenAI 的 ChatGPT，微软改进了 Outlook 搜索结果，使得用户无需使用邮件关键词就可以找到所需内容，以及智能化邮件或 Word 文档的写作过程。

参考：https://www.theverge.com/2023/1/9/23546144/microsoft-openai-word-powerpoint-outlook-gpt-integration-rumor

百度文心一言3.16发布

picture.image

自己看官网吧 https://wenxin.baidu.com/ernie3

picture.image

文心一言，3月16日见！