秒懂AI-不懂AI“涌现”,别说你懂人工智能!

当大模型参数规模超过约600亿时,它们将展现出前所未有的新能力,这就是我们所说的 “智能涌现”。 那什么是涌现现象呢?

维基百科的定义:涌现(英语:emergence)或称创发、突现、呈展、演生,是一种现象,为许多小实体相互作用后产生了大实体,而这个大实体展现了组成它的小实体所不具有的特性。

这个定义让人感到更加困惑和迷茫,虽然每个文字都理解,但组合起来却不知道具体是什么意思。

理解“涌现”现象对你来说价值巨大。它会成为你思考其他AI问题的基础。 不懂AI“智能涌现”,别说你懂人工智能!

当你真正理解“涌现”后, 对于AI的发展,你将更有洞察力和预判力,相关AI概念,你既能懂,又能用。

接下来,我将以通俗易懂的方式,让你理解AI大模型中涌现现象。

微观辨水,现实版 智能 涌现

picture.image

“水哥”真名王昱珩,最早出现时是在第一期的《最强大脑》上。

当时王昱珩挑战的节目是“微观辨水”。

什么是“微观辨水”呢?简单的说就是从520杯水中挑出评委预先选中的一杯水。这些水可都没有做过手脚,都是纯净水,水杯中水量也都是完全一样的。

他在采访中也进行了揭秘,就是运用想象力,把其中不同的特点,比如说气泡、灰尘、杯纹构成一幅图,然后就可以迅速地筛选了。

普通人第一眼看到就是一杯水,像素规模:2*2=4个像素色块;

增加气泡信息,像素规模:4*4=16个像素色块;

增加灰尘 信息, 像素规模:8 *8=64个像素色块;

增加杯纹 信息, 像素规模:16 *16=256个像素色块 ;

继续增加其它信息,到水哥眼中,像素规模:256*256=65536个像素色块,每一杯水在他脑中都“涌现”出一幅画。

通过类比,水哥通过扩大 像素规模 产生涌现,大模型则是通过扩大 参数规模 产生涌现。

智能 涌现 ”为何发生?

关于“智能涌现为何发生?”

学术上有很多种解释,其中一种解释是: 宏观涌现可能只是构成系统的微观因素的线性变化的结果。

说人话就是: 量变引起质变。 微观的渐变,引起宏观的质变 。

微观渐变并不能否定宏观的质变,宏观的质变也不能简化为微观渐变。

举个例子:沙堡是由沙粒组成,但沙堡会崩塌,沙粒不会。“坍塌”是成规模的沙粒涌现出来的宏观特性。

智能 涌现 3个延伸问题

问题一:AI智能涌现的结果是每一次都一致?

AI智能涌现的结果 在某些情况下可能会表现出相对一致的行为,但并不能保证每一次都完全一致。

智能涌现 ≈ 相对稳定的高级智能。 有时候,它能够回答一些问题,但稍微改变一下问法,它可能就无法回答了。 同样的问题,这次它能够答对,但下次却可能答错。

这恰恰是当前许多人在使用大模型时所面临的现实困境。

问题二:除600亿参数规模外,是否还存在其他阈值,可以让AI发生智能涌现吗?

目前确实有一种观点认为:从千亿级的参数规模再往上,AI不会再有新的“顿悟时刻”。 但当你理解了涌现,你就会意识到这种观点一定是错的。智能涌现的阈值肯定不止一个,要涌现不同的能力,需要越过不同的阈值。

问题三: 什么是“知识压缩”,它跟AI有什么关系?

如果你掌握了某张图片的知识,那么,即便该图片被过度压缩,你依然可以让它在你面前涌现意义。

知识是对现象背后规律的总结,本质上就是一种 “压缩方法” 。

当我们说“这个知识概括、总结了一系列现象”,本质上是在说这个知识压缩了这些现象。

训练大模型的目的就是寻找压缩方法(知识)。

训练大模型的过程本质是一种“尝试-验证”的过程:大模型猜测一个可能的压缩方法,然后验证它是否正确。这个过程会重复很多次,消耗巨大的算力。

0
0
0
0
评论
未登录
暂无评论