AI人物传:“深度学习之父”Geoffrey Hinton

大模型机器学习算法

Geoffrey Hinton是深度学习和人工神经网络的先驱之一,对现代人工智能的发展有着举足轻重的影响。

Geoffrey Hinton出生于1947年,在英国伦敦。Hinton的父亲是生物学家,这影响了他对智能和机器学习的看法。他在剑桥大学获得心理学和神经科学学位,后在爱丁堡大学获得人工智能博士学位。

美国加州理工学院物理学家约翰·霍普菲尔德于1982年和1984年发表了两篇关于人工神经网络研究的论文,引起了巨大的反响。受霍普菲尔德的影响,辛顿决定深入研究计算机神经网络。

1982年—1987年,辛顿在美国卡内基梅隆大学计算机科学系任教。此外,Hinton在斯坦福大学和多伦多大学等多所高校担任教职。

1987年,辛顿来到加拿大多伦多大学任教,并加入了加拿大高等研究院(CIFAR)的人工智能研究项目。经过近20年的研究,辛顿于2004年设计了颠覆性的深度学习模型——神经计算与自适应感知模型,该模型开启了深度学习的大门。此后,深度学习成为90%以上人工智能应用的底层模型,辛顿也因此被公认为是“深度学习之父”。在优化深度学习模型的研究过程中,辛顿指导了在多伦多大学进行博士后研究的杨立昆(Yann LeCun),杨立昆对深度学习的主要贡献是提出了卷积神经网络,用以解决计算机视觉问题。辛顿还结识了加拿大蒙特利尔大学计算机系教授约书亚·本吉奥。约书亚·本吉奥对深度学习的贡献是提出了“注意力机制”(广泛应用于AI翻译)和“对抗性机制”(广泛应用于AI生成图片)。凭借在深度学习领域的贡献,杰弗里·辛顿、杨立昆、约书亚·本吉奥三位共同获得了2018年的“图灵奖”,被业界称为“深度学习三巨头”。

他曾在微软研究院工作,后来加入Google,成为Google Brain项目的一部分,任职首席AI科学家。

2018年,Hinton离开Google,将更多精力投入到AI的安全性和伦理问题上

picture.image

参与过的AI项目或科研成果:

Hinton在反向传播算法(backpropagation)方面的工作是现代神经网络训练的基石。

他与合作者共同提出了深度信念网络(Deep Belief Networks)。

Hinton还参与了胶囊网络(Capsule Networks)的研究,这是一种尝试解决深度学习中一些问题的新型神经网络架构。

Hinton因其在深度学习领域的贡献而获得了2018年的图灵奖,这是计算机科学领域的最高荣誉。他被广泛认为是深度学习“三巨头”之一,与Yann LeCun和Yoshua Bengio齐名。

picture.image

※ 人类心智并无AI不可复制之处,且AI已经具备主观体验。Hinton认为,AI系统能够理解和处理信息的方式与人类相似,这表明AI可以模拟人类的认知过程。他强调,AI系统通过预测下一个词或符号的方式,实际上在进行一种推理,这与人类理解语言的方式类似。

※ 通用AI不会突然出现一个时刻,让机器瞬间超越人类。Hinton指出,AI将在不同时间,在不同领域超越我们。例如,AlphaGo已经在围棋领域超越了人类,而在物理操作等领域,AI的超越可能会更晚一些。

※ AI将创造大量财富,但新增的财富可能不会流向穷人,而是流向富人,这将加大贫富差距。Hinton担忧AI技术的发展可能会加剧社会不平等,因为AI技术可能会被少数大企业所垄断,而这些企业可能会利用AI技术来增加自己的利润,而不是用来提高社会整体的福祉。

※ 大语言模型真的理解它们所说的内容,几乎与人类一样。Hinton认为,大型AI模型通过学习嵌入,并在不同单词或单词片段的嵌入特征之间进行交互,能够统一不同的词汇意义理论。这些模型不仅在预测下一个词,而且在理解之前说过的内容,这表明它们具有与人类相似的语言理解能力。

※ AI不仅将助力基础科学研究,在许多情况下,它能处理大量非视觉、非听觉的复杂数据,如基因组数据。Hinton认为,AI系统在处理大规模数据、识别模式、理解数据方面将远超人类,这将对科学研究产生重大影响。

※ 对于AI偏见和歧视问题,他认为,如果目标是用更少偏见的系统取代有偏见的系统或有偏见的人,而不是用完全没有偏见的系统取代,这似乎是完全可行的。他提出,通过冻结AI系统的权重,可以更好地测量偏见,并采取措施克服或缓解它。

※ AI的最大风险在于它们会形成次级目标,且这些目标会超越最初由创造者和用户赋予的目标。Hinton担忧,如果AI系统有朝一日决定它对自己比对人类更感兴趣,我们将束手无策。他提出,AI系统应该以一种方式训练,使其对人类的利益感兴趣。

※ AI淘汰岗位多过创造的岗位,建议实行全民基本收入制度。Hinton认为,AI不会创造与它淘汰的同样多的工作岗位,因此需要像全民基本收入这样的制度来应对AI带来的挑战。

※ Hinton对AI在医疗、教育公平发展中的积极影响表达了乐观态度。他认为,AI将在医疗图像解读、整合大量患者数据等方面发挥重要作用,这将有助于提高医疗服务的质量和效率。同时,AI也有助于教育的普及,例如通过提供个性化的教育内容来满足不同学生的需求。

※ Hinton提出了对AI技术的监管建议,包括坚持更多资源投入到安全中。他认为,政府应该像监管石油公司一样监管AI公司,确保它们投入足够的资源来处理AI技术可能带来的风险。

※ Hinton对AI技术的未来发展持谨慎乐观态度。他认识到AI技术在许多领域内将超越人类,但这种超越将是逐步的、领域特定的,而非一蹴而就。他强调,我们必须确保AI的发展与人类的价值观和利益相一致,同时必须谨慎应对伴随技术进步而来的挑战。

※ Hinton强调了大脑学习机制与反向传播算法之间的联系,并提出了大脑可能采用不同于传统算法的学习机制。他认为,尽管目前深度学习模型在模拟人类意识和推理方面还有很大的提升空间,但随着模型规模的不断扩大和多模态数据的融合,它们将能够展现出更高级别的创造力和推理能力。

※ Hinton认为,大型语言模型通过寻找数据中的共同结构,能够以更有效的方式对事物进行编码,这是它们能够学习不同领域知识的关键。他举例说明,GPT-4能够理解堆肥堆和原子弹之间的相似性,即它们都涉及链式反应,这种理解能力是创造力的来源。

※ Hinton提出了多模态模型的重要性。他认为,多模态模型将使AI更好地理解空间概念,因为单凭语言很难理解一些空间概念。多模态模型可以获得更多数据,需要更少的语言信息,这将使学习更加容易。

0
0
0
0
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论