《AI漫画AI: 从故事到原理之“专家系统复兴“》（撰写中)
《AI漫画AI: 从故事到原理之“贝叶斯网络的活水“》(撰写中）
这是第五篇
《AI漫画AI: 从故事到原理之“深度学习崛起“》
，总计1600字，读完需要5分钟。
我把深度学习的崛起分为四个阶段：
-
1990-2005：没有算力、数据支撑，深度学习发展受限
-
2005-2009：深度学习在加拿大燃起烈火
-
2012-2017：一举夺魁，世界瞩目
-
2017 -现在：百花齐放
（1990-2005）： 没有算力、数据支撑，深度学习发展受限
上一篇《AI漫画AI: 从故事到原理之“反向传播的星星之火“》讲到深度学习之父Hinton经过漫长曲折的研究终于在著名期刊《Nature》上发表了关于反向传播算法的论文，并在CMU(卡耐基梅隆大学，全球计算机科学前三）得到了助理教授的职位。可是CMU 长期靠军方资助，坚定的反战主义者Hinton 决定告别计算机科学的最高学府，接受加拿大多伦多大学伸出的橄榄枝。
Hinton 去了多伦多大学后，不仅失去了CMU的靠山，而且人工神经网络的发展又遭受了另外一个困难。
在1990s年代，曾经在1980s年代表现出众的“专家系统“慢慢暴露出一些问题，其中最大的问题是”太专，不通用“。放在今天”通用“人工智能浪潮的眼光下，你也许觉得那时正是神经网络大展身手的时候，但当时的神经网络还有另外一个强大对手：支持向量机。
由于当时的算力、数据都不够，BP很快就被他的对手“支持向量机”打压了下去。
[插播]当然支持向量机放到现在，仍然是有用的，关于什么是支持向量机，可以在稍后的文章中探讨。
- （2005-2009）：深度学习在加拿大燃起烈火
在2005-2009年， 如果大家记得，这个阶段是PC 互联网爆发的时代，顺便带大家“考古”一下那时的界面。
和1990s年代相比，算力和数据在这个时期有了一次小爆发，神经网络悄悄然在Hinton的带领下，在加拿大燃起了星星之火。Hinton发现，只要有大量的标注数据和足够的GPU，就能让人工神经网络施展身手。
2012-2017：一举夺魁，世界瞩目
2012年，在当时全球最大的图像识别大赛，ImageNet 比赛中，基于人工神经网络的Alex Net一举夺魁，以压倒性优势（错误率仅为16%，远低于其他组25%）战胜其他算法。
从此人工神经网络终于被学术界”正身“，不再被视为邪门歪教，一路狂奔不止...
2017 -现在：百花齐放
这个阶段有两个标志性事件：
1） 2017年Alpha Go战胜柯洁，全面证明人工神经网络算法在围棋这个专业领域挑战人类最高智慧获得成功。
2） 第二个就是2022年Open AI 发布GPT3，这一次相当于Open AI 做了耗资巨大的实验：只要给足够大的算力和足够多数据，深度学习在”通用能力“上大放异彩。
最后我们再加一张神经网络全景图，从算法上展示 神经网络的”百花齐放“ 。这张图最后更新时间是2016年，希望后续有时间自己能补充一些，其中，本篇文章的主角”Back propagation“就是图中的Backfed input Cell，你大概可以看到”Back propagation“对人工神经网络的影响。
[对上图的一点补充]: 其实除了BP作为监督学习算法的内核，神经网络派还有另外两类算法：一类是无监督学习算法，另一类是增强算法。当前大部分的AI工具也是综合利用了这三类算法才有了不错的效果。Hinton 和David 在无监督学习算法中，有一个代表作是玻尔兹曼机网络，他们受无监督学习网络—Hopfield 网络的启发，同样在1986年左右发明了玻尔兹曼机网络。
总结
到此为止，人工神经网络的历史就讲完了，我们最后再拿这张图来回顾和展望一下。
当下深度学习的爆发也许是过去几十年人工智能的神经网络派被压制后的全面爆发，在算力、数据的共同推动下，使得他有了展示的舞台。
但是人工智能绝不会止步于此， 这一波的人工智能是走向通用式、生成式的开始 ，这种巨变的确会解决很多问题，但是同时会刺激出更多的需求，制造出之前人类从未想过的问题。
而过去70年中神经网络的对手“符号主义”是否就是一无是处，恐怕也不是。二者能否联姻来解决目前我们遇到的问题，可能是可预见的未来中会发生的事情，让我们拭目以待。
我是关注AI产品的产品二姐，致力于带来丰富的AI学习分享、体会，欢迎关注、点赞、转发、收藏。