AI图书推荐:算力时代

GPU数据库算法

《算力时代:一场新的产业革命》这本书由王晓云、段晓东、张昊等著,全书共分为六篇十八章(包括前言和致谢),系统性地介绍了从原始算力到现代算力的发展历程,并展望了算力未来的演进。以下是本书各章节的详细总结:

前言 - 作者介绍了写书的背景与目的,指出算力在数字化、智能化时代的重要性,并概述了书中将要探讨的主要内容。

第一篇:从原始算力到现代算力

第一章 算力的前世今生 - 描述了从古代算筹到电子计算机的演变。

第二章 机械计算的时代 - 讲述了早期计算器如帕斯卡加法器和莱布尼茨乘法器的历史。

第三章 电子计算的崛起 - 探讨了电子计算机如何取代机械装置,成为主流。

4个发展阶段:电子管(IBM,IBM701计算机)、晶体管(IBM,IBM7094计算机;CDC,CDC1640计算机)、集成电路(DEC,PDP8小型计算机)、超大规模集成电路(Intel、高通、ARM,微型计算机,手机,可穿戴,智能家居)

摩尔定律:摩尔定律(Moore's Law)是由英特尔(Intel)联合创始人戈登·摩尔(Gordon Moore)在1965年提出的一个观察和预测,它描述了集成电路上可容纳的晶体管数量随时间增长的趋势。摩尔定律的具体内容如下:

原始表述:戈登·摩尔在1965年的一篇文章中观察到,集成电路上的元件数量大约每两年翻一番。

修正表述:摩尔在1975年修正了他的预测,将翻番的时间从两年延长到大约24个月,即每两年晶体管数量翻倍。

性能提升:摩尔定律通常被解释为计算机性能每两年翻一番,因为更多的晶体管意味着更多的计算能力和更高的性能。

成本降低:随着晶体管数量的增加,单个晶体管的成本降低,这使得电子设备变得更加便宜和普及。

技术进步:摩尔定律推动了半导体制造技术的快速发展,包括光刻技术、材料科学和电路设计等领域的创新。

预测未来:摩尔定律为半导体行业提供了一个预测未来技术发展和投资的方向,尽管它本身不是一个物理定律,而是基于历史趋势的观察。

极限挑战:随着晶体管尺寸接近原子级别,摩尔定律面临的物理和经济限制越来越明显,这导致了对后摩尔时代技术替代方案的探索,如量子计算、先进封装技术等。

行业影响:摩尔定律对整个科技行业产生了深远影响,包括个人电脑、智能手机、互联网和人工智能等领域的快速发展。

黄氏定律:黄氏定律(Huang's Law)是以英伟达(NVIDIA)首席执行官黄仁勋(Jensen Huang)的名字命名的,它预测了GPU将推动AI性能实现逐年翻倍。以下是黄氏定律的详细内容:

GPU性能增长:黄氏定律指出,在过去十年中,英伟达GPU的人工智能处理能力增长了1000倍。这一增长速度远超摩尔定律所预测的CPU性能增长。

AI性能翻倍:黄氏定律强调,AI性能每年可以增加一倍,这一点在典型的AI影像识别测试中得到体现,尽管对“性能”的具体定义和衡量仍存在挑战。

后摩尔定律时代:在半导体开发中,摩尔定律预测的每两年晶体管数量翻倍的趋势正接近极限。黄氏定律在AI领域的芯片性能提升中显得尤为重要,尤其是在芯片主战场转向AI的背景下。

结构性转变:英伟达首席科学家Bill Dally提到,后摩尔定律时代计算机性能的提升将主要基于人类的聪明才智,而非单纯的工艺缩小。

对工艺缩小的依赖小:与摩尔定律不同,黄氏定律的进展几乎不受工艺缩小的影响,这意味着即使在工艺发展放缓的情况下,GPU的AI推理性能仍有望保持快速增长。

技术进步速度:黄氏定律认为GPU的技术进步速度远远超过传统的CPU,这一点在英伟达的GPU产品发展中得到体现。

推动计算机性能:黄氏定律被视为提高计算机性能的重要指标,在可预见的未来都将一直适用

GPU性能增长速度比CPU更快的原因主要包括以下几点:

并行计算能力:GPU拥有大量的内核(核心)来并行处理大量的数据,而CPU则采用较少的内核以较高频率串行执行任务。这种架构使得GPU在图像渲染和矩阵运算等方面表现优异。

内存带宽:GPU通常会配备大容量的视频内存,并具有更高的内存带宽,这有助于实现更高速的数据读写,减少并行计算期间的访问延迟。

数据并行性:GPU能够更大程度地利用数据并行性,对于像图形、渲染这样的任务,相同的着色器程序可以在许多顶点或像素上并行运行。现代GPU包含数千个核心,而高端CPU最多只有不到100个核心,这使得GPU在并行工作负载中可以实现比CPU高100倍或更高的吞吐量。

即时(JIT)编译:GPU支持即时编译,可以动态优化程序的执行,而CPU通常在编译时进行优化,这限制了其在运行时的性能调整能力。

架构和指令集:GPU的架构和指令集专门优化了图形处理和计算密集型任务,可以更有效地处理图像、矩阵运算、向量操作等计算密集型任务,这种优化提高了指令的执行效率,从而加快计算速度。

物理结构差异:GPU的计算单元占比远高于CPU,这使得GPU在单一逻辑运算中性能远高于CPU。GPU在计算核心的数量上也远高于CPU,因此其并行处理能力更强。

节能与普及:随着技术的发展,GPU在保证高性能的同时,也在降低能耗,并变得更加普及,成为人工智能开发和应用的标配之一。

GPU之所以在性能增长速度上超过CPU,主要是因为其强大的并行处理能力、高内存带宽、专为图形和计算密集型任务优化的架构和指令集,以及物理结构上的差异。这些特点使得GPU在处理大规模数据集、执行大量并行计算和执行图形处理和计算密集型任务等方面比CPU更高效。

第二篇:多样的现代算力

  1. 通用计算的进展 - 涉及x86、ARM、RISC-V等指令集架构的发展。
    2021年,ARM推出V9架构,支持原生机器学习技术,从ARMv9开始,处理器芯片自带AI功能。
    作者指出,生态非常重要。英特尔在维护X86苦心经营起来的市场地位的同时, 推出一款基于精简指令集的CPU新型号-80860。虽然这款CPU的 发布顺应了学术界的呼声,但并没有取得市场的成功。事实证明, 当用户面临兼容性和高性能二选一的时候,用户会选择兼容性。毕竟兼容性问题更直接,可能会导致很多软件甚至操作系统都无法使用。由此可见,计算产业的生态非常重要。若不是英特尔和微软形 成Wintel帝国,并吸引众多软件开发者组成生态圈,引导用户形成 使用依赖,用户对x86也不会有这么强的“忠诚度"。后来英特尔又 推出了一款基于精简指令集的CPU-80960,市场仍然不见起色, 最终英特尔才放弃精简指令集的道路。
    第五章 异构计算的新篇章 - 介绍GPU、FPGA、DPU等异构芯片及其应用。
    截至目前,据不完全统计,国内已有30余 家AI芯片供应商,如华为、寒武纪、燧原科技、比特大陆、百度、 天数智芯、登临科技、摩尔线程、平头哥英等;具有代表性的产品 有华为昇腾系列芯片,寒武纪思元系列加速卡,燧原科技云燧系列 加速卡等。国内AI芯片针对的应用场景中,智能安防、物联网和智 能语音最为热门。
    华为自研达芬奇架构神经网络处理器,代表产品为昇誉310和昇 腾910,面向数字中心、边缘、消费终端和物联网场景,可为平安 城市、自动驾驶、云业务和IT智能、智能制造、机器人等应用场 景提供完整的AI解决方案。寒武纪产品面向通用型云端训练和边 缘或终端推理,具有思元系列AI芯片、终端智能处理器IP、云端智 能芯片及加速卡、边缘智能芯片及加速卡以及基础系统软件平台。燧原科技产品基于可编程芯片设计理念,面向数据中心的高性能云 端训练和推理,可广泛应用于互联网、金融、教育、医疗、工业及 政务等场景。
    正如NVIDIA CEO (首席执行官)黄,二勋在NVIDIA GTC (GPU技术 大会)上所讲,智能网卡DPU将和GPU、CPU一样成为未来计算架 构的三大基石之一,未来整个云计算架构的演进就是围绕智能网卡 展开的。定制化服务器的设计是为了适配智能网卡,上层云平台的 软件架构设计也是为了匹配智能网卡的硬件能力,从而更好地实现 软硬件协同。智能网卡作为未来数据中心的“牛鼻子",牵引着整个 产业向前演进。
    第三篇:算力就是生产力
  2. 云计算的兴起 - 分析了云计算的发展及其对社会的影响。
    云计算将云服务使用者的固定成本转化成了可变成本。从经 济学上看,固定成本和可变成本的属性存在着很大的差异。固定成 本是企业的一次性投入,是企业组织生产、开展经营活动的前提, 不管企业生产经营活动的效果如何,固定成本都是企业需要背负 的重要支出。可变成本是在企业真正开展了生产和经营活动时才 真实产生的费用。过去,企业使用的IT资源主要依靠自行购买、 维护和管理,属于固定成本。在云计算出现之后,这些IT资源变 成了可以按需购买、按量付费的东西,因此就转变成了可变成本, 这极大地降低了企业开展生产活动的门槛。
  3. 边缘计算的力量 - 探讨了边缘计算的概念及其重要性。

picture.image

边缘计算这个"小弟"并不能取代云计算这个"大哥"的位置,相反,两人是"亲兄弟",边缘计真的出现填补了云计算服 务无法覆盖的业务场景,同时与云计算这位"大哥”时刻进行着沟通 与协同。因而我们在讨论边缘计算时往往不能完全独立于云计算, 而应在云一边一端的整体框架之下,将边缘计算视作中心云在靠近 用户侧下沉的一种边缘云形态。如前所述边缘计算的"章鱼理论", 章鱼"一个大脑+ N个小脑+无数神经末梢"结构和“中心云+边缘云+ 终端”的分布式架构(如图7-3所示)极为相似,各式各样的终端 在采集到海量数据后,将需要实时处理的小规模、局部数据就近 在边缘云上处理,将复杂、大规模的全局性任务交由中心云汇总和 深入分析,中心云与边缘云通过云管平台的统一管控、智能调度, 实现算力的优化分配。

第八章 大数据时代的算力需求 - 解释了大数据处理中的算力要求。

第九章 AI技术下的算力挑战 - 讨论了AI发展给算力带来的新挑战。

GPU不是专门针对AI算法开发的ASIC,人们需要找到 既能解决深度学习训练和推理的运算能力问题,又熊解决功耗和成 本问题的芯片,FPGA芯片击此诞生。FPGA相比GPU具备土 ,性能、 低时延、低能耗、低成本箸特点。基于FPGA体系结构特点,它非 常适用于低时延、,流式计算密集型任务处理,能有效处理海量并 发的云端推断,如语音云识别场景,能为消费者提供更好的使用体 验。

FPGA芯片本质上是通过预编程的方法来提升性能,在智能化的视 频图像等场景下,它需要处理的内容往往是大量非结构化数据, 但这类数据很难通过预编程得到满意的结果。因此,我们需要通 过AI芯片,进行大量样本训练和推理交互,在形成算法模型后,集 成了AI芯片和算法的智能设备,才具备智能推理能力。冯•诺伊曼计 算架构是摩尔定律在AI场景下失效的根因。如何通过硬件体系架构 的创新,克服“存储墙"瓶颈,实现深度学习算法的最佳运算效率, 成为AI芯片架构创新发展的新方向。尽管AI芯片技术的发展已经取得了初步成果,但是Al芯片和架构设计,特别是神经网络芯片在工 程领域所面临的挑战从未结束。

第四篇:算力网络,算网一体共生

  1. 算力网络的理念 - 提出了算力网络的概念及其重要性。
    算力网络是以算为中心、网为根基,网、云、数、智、安、边、 端、链(ABCDNETS )等深度融合、提供一体化服务的新型信息基 础设施。算力网络的目标是实现“算力泛在、算网共生、智能编 排、一体服务”,逐步推动算力成为与水电一样,可“一点接入、 即取即用”的社会级服务,达成“网络无所不达、算力无所不在、 智能无所不及”的愿景。算为中心,网为根基:在行业数字化转型过程中,个人及行业对信息网络的主要需求已逐渐从以网络为核心的信息交换转变为以算力为核心的信息数据处理,算力将成为IT技术发展的核心。在发展 过程中,网络作为连接用户、数据与算力的桥梁,需要与算力深 度融合,形成算网一体化新型基础设施。中国移动发展算力网络, 将以算为中心,网为根基,充分发挥自身的网络优势,以网强算, 基于广泛的网络分布和组网能力,为用户提供低时延、高可靠的算 力连接,让用户享受更优质的算网服务。
  2. 第十一章 “东数西算”工程 - 说明了国家层面对于算力布局的战略规划。
    第五篇:突破极限
  3. 存算一体化 - 探讨了存算融合的趋势。
    承载应用的算力底座从以计算为中心的架构开始逐渐向以数 据为中心的架构转变,人们的关注点不再仅仅是对数据迸行计算和 加工,数据的“搬运"也成为各计算系统的设计重点。为了从根本上 翻越数据流动过程中的“存储置“功耗墙",计算、存储"合二为一" 成为一种突破冯•诺伊曼架构极限的好办法,因此存算一体的概念 应运而生。
    尽管冯•诺伊曼架构长期主导CPU微架构设计,但计算与存储的融合 这一想法并不是天方夜谭。美光科技CEO桑贾伊•梅赫罗特拉就曾表 示:“昨天的计算体系结构不适用于明天。从长远来看,我们认为 计算最好在内存中完成。”
  4. 在网计算与6G - 展望了未来通信技术和算力发展的结合。

算力网络的演进将从目前的算网分治逐步走向算网协同,最终发展 为算网一体化。基于目前边缘计算的发展,算力网络将首先实现 多个边缘节点算力资源的合理分配和调度,满足用户的业务体验, 以及提高资源的利用率。未来面向6G的算力网络,将会实现网络 资源和计算资源的全面融合,满足6G分布式区域自治的架构。发 展算力网络,可以繁荣计算与网络两大产业生态,实现以算联网、 以网促算,最终达到计算能力通过网络内生,以及网络提供泛在协 同的连接与计算服务。

网络计算是过去几年中出现的一个新的研究领域。在过去的几年, 以云计算、大数据、高性能计算和AI等为代表的现代数据中心全面 进化到分布式并行处理架构,数据中心的所有资源如CPU、内存、 存储等分布在整个数据中心,通过高速网络技术连接,协同设计、 分工合作,共同完成数据中心的数据处理任务。在现代数据中心 内,一切以业务数据为导向,构造均衡的系统体系架构。沿着业务 数据流动的方向,CPU计算、GPU计算、存储计算、网络计算等各 个部分合纵连横,分进合击,共同构成了以数据为核心的新一代数 据中心系统架构。依托于可编程网络技术的落地部署,在网计算可通过在网络中部署 算力对报文进行处理。在网计算可通过开放的可编程的异构内生 资源实现网内内生算力的共享,从而在不改变业务原有运行模式的 前提下,对数据进行就近加速处理,尽可能实现应用的无缝迁移, 缩短应用的响应时延,简化应用的部署流程。

第十四章 “摩天”算力 - 描绘了超大规模数据中心的未来发展。

第十五章 量子计算的前景 - 对量子计算进行了初步探讨。

第六篇:新时代、新战略、新行动

第十六章 新政策与战略布局 - 分析了国家关于算力的新政策及企业的战略布局。

第十七章 各行各业在行动 - 不同行业(互联网、芯片、服务器)的企业代表分享了他们对算力的看法及实践经验。

该书通过详尽的技术分析与行业案例,为读者呈现了一个全面而深刻的算力时代图景。AI以算力为基础,通过本书读者对AI算力的投资机会会有一个大概的了解。

0
0
0
0
关于作者

文章

0

获赞

0

收藏

0

相关资源
大规模高性能计算集群优化实践
随着机器学习的发展,数据量和训练模型都有越来越大的趋势,这对基础设施有了更高的要求,包括硬件、网络架构等。本次分享主要介绍火山引擎支撑大规模高性能计算集群的架构和优化实践。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论