近日，由ChatGPT点燃的大模型这把火，正在全球科技圈子里愈演愈烈。国内，随着多家互联网大厂相继官宣大模型动态，创业领袖们纷纷紧急招兵买马，一场大模型的“战争”一触即发。

国内外相关领域在此时形成了一种无言的默契——以ChatGPT为代表的AI大模型是一个划时代的里程碑，将开启通用人工智能（AGI）时代。

站在历史的关键节点，谁能引领下一个人工智能黄金时代？决胜的关键又是什么？4月5日，ChatGPT官网宣布停止Plus付费项目的购买，业内分析就是由其算力不足按下了暂停键。算力到底是什么？为什么会对人工智能发展产生重要影响？今天，我们就来聊一下被誉为人工智能“发动机”的算力。

Part.1

什么是算力？从大脑、算盘、计算器说起

这几年，“算力”的概念频繁出现在互联网圈，成为科技大佬们常挂在嘴边的热词。但实际上，这并不是一个新概念，算力的本义也并不复杂，顾名思义，就是指计算的能力。如果用《中国算力白皮书（2022年）》来进一步进行专业解释，就是指数据中心的服务器通过对数据进行处理后实现结果输出的一种能力。

人类的大脑就是天然的计算服务器。生活中，小到去菜市场买菜、大到破解一道数学难题，人类大脑每时每刻都在通过口算、心算的方式来为我们的需求提供算力。但这样的算力有点低，尤其碰到非常复杂的计算问题时，就这样催生出了一代又一代计算工具。

首先当然要从人类自己身上找工具，于是手指成为了最简单方便且一直沿用至今的计数工具，而这大概也是十进制计算得以发明并且普及的根本原因。

到远古时期，人们开始用绳子、石头等自然物来计数。中国古籍《周易·系辞下》中就有“上古结绳而治”的说法；在南美，古印加人也用绳子来记录。

随着生产实践的不断发展，人类终于发明了自己的计算工具。算筹就是中国早期的计算工具，一般由木棍、竹条或兽骨（称为“筹”）等做成。

算筹采用十进制记数法，有纵式和横式两种摆法。个、百、万位等用纵式，十、千、十万位等用横式，空位表示零，这样从右到左，纵横相间，就可以表示任意自然数了。并且，中国古代的算筹，在整数四则运算、分数四则运算、开平方等问题上均有成熟的法则，在问题解决的每一步上都有规格化的程序，也因此被一些数学史学者认为具有构造性和“机械化”的特点。

汉代骨制算筹（图片来源：维基百科）

不过，与机械时代工具的改良类似，随着算筹的软件，也就是运算法则的发展越来越快，算筹的硬件，也就是“筹”虽然也一直在改进，但终究跟不上算法的进展，最终被更为方便的算盘取代了。

这也是计算工具发展史上的第一次重大改革。算盘的原理与算筹类似，但在操作上更加实用，尤其在熟练掌握珠算口诀和基本技巧之后，运算速度更是惊人。15世纪左右，由中国人民发明的算盘传入了日本、韩国等国家，又经商路逐渐传入西方，至今在一些地区仍有着广泛的应用。

17世纪之前，在手工计算时代，我国的算力和算法无疑走在前列，但随着工业革命的到来，数学及计算工具的发展中心渐渐转移到了西方，计算工具也从手工计算正式进入机械计算时代。

世界上第一台机械式计算工具——加法器，是由法国数学家、物理学家、思想家帕斯卡设计成功的，计算过程只需拨动机器上的齿轮就能实现。尽管这台机器只能进行加减运算，但完全不用再依赖人类大脑，其设计原理与现今计算机的原理也是相通的，为后人制造机械计算器迈出了开拓性一步。

在他的基础上，德国哲学家、数学家、“百科全书式”学者莱布尼茨对机械计算器进行重大改进，不仅研制了一台能进行四则运算的机械式计算器，还有一个重大的发明——二进制。虽然当时莱布尼兹发明的计算器并没有融入二进制，但这种进位规则却被现代计算机一直采用至今。

Part.2

算力的飞跃：现代计算机与摩尔定律

从远古时期结绳计数到手工计算时代，再到机械计算时代，计算工具的每一次变革都带来了算力的极大跃迁，并进一步推动人类经济社会向前发展。

但过去人们对算力的感知并不明显，直到电子计算机的诞生，才让人们深刻感受到计算的威力——比如问世于2016年的超级计算机“神威·太湖之光”，1分钟的计算能力就相当于全球72亿人同时用计算器不间断计算32年。在这样的超强算力支持下，许多以前无法想象的难题顷刻就能得到解决。也正是这样一代又一代越来越快的电子计算机的出现，才让算力的重要性真正为人们所关注。

1946年，世界上第一台电子计算机ENIAC在美国宾夕法尼亚大学问世，其使用电子管作为开关，可以进行大量的计算操作，速度比之前的机械计算器快了很多。这台计算机虽然能满足不同计算需求，但不具备存储的功能。

1950年前后，冯·诺伊曼主导制造完成了第一台现代计算机EDVAC。这台由运算器、存储器、控制器、输入设备和输出设备五大部件组成的计算机系统有两大开创性突破：一是采用了二进制形式表示数据和指令，二是提出了“存储程序”方式。直到今天，电子计算机的设计仍然是这种结构。

Part.3

现代计算机的算力是怎么衡量的？

简单来说，当人类使用计算机时，输入的字符或者信息首先需要被转化为电子计算机能够处理的编码：0或者1的排列组合。而电子晶体管就是作为0或者1进行数值运算的基本单元，此时电子晶体管的通路可以代表数值1，断路就代表数值0，每一个0或1就是一比特（信息量的最小单位）。这也意味着，算力的大小与晶体管数量呈正相关，晶体管数量越多，就能表示越多的信息量。

第一台电子计算机ENIAC就拥有18000多个电子管，占地面积达170m2，体重达30吨。如此庞然大物当然不便推广，一直到20世纪50年代，在ENIAC之后推出的新机如UNIVAC、IBM、Ferranti、Burroughs等都是大型机，价格昂贵，只有政府和大型企业等有实力的组织才能够购买和使用。

不过，变革很快到来。1958年，工程师杰克·基尔比发明了一种能将一个电路中需要的晶体管、电阻、电容和电感等元件及布线连在一起的电子器件，也就是人们现在所熟悉的集成电路（同时期，罗伯特·诺伊斯也带领仙童半导体公司发展出了近代实用的集成电路），而集成电路的载体就是“芯片”。

可以说，芯片的出现真正推动了现代计算机的飞速发展。1965年，时任仙童半导体公司研究开发实验室主任的摩尔应邀为《电子学》杂志35周年专刊撰写评论。在绘制数据时，他发现了一个惊人的趋势：每个新芯片大体上包含其前任两倍的容量，每个芯片的产生都是在前一个芯片产生后的18-24个月内。按照这一趋势，芯片的密度还有计算力相对于时间周期都将呈指数式的上升。这一发现也就是现在大名鼎鼎的“摩尔定律”。

半个多世纪以来，电子计算机的发展基本都遵循着摩尔定律。20世纪七八十年代，随着芯片的性能不断提升、体积不断减小，计算机终于实现了小型化，PC（个人电脑）诞生了。这也标志着电子计算机的算力终于不再仅为少数有实力的机构服务，而是开始真正走向千家万户，进而推动全民信息化时代到来。

Part.4

人工智能时代的算力挑战

按照摩尔定律，算力基本每两年就要翻一番。但这样恐怖的增长速度也无法满足人类对算力的需求，尤其是2012年深度学习的发展带领人工智能崛起以后。

早在2019年，OpenAI就在其更新的AI计算量报告中分析了AI算法消耗算力的情况，并发现在之前的几十年中，AI计算量的增长速度基本和摩尔定律保持同步，而2012年成为了AI两个时期的分水岭。2012年之后，最先进AI模型的计算量每三四个月就翻一番，也就是每年增长近10倍，比摩尔定律2年增长一倍快得多。

在此情况下，如何才能提高算力以满足智能计算的需求？目前有两大方面可供突破。

第一种方法，找更多人一起计算，也就是借助高性能计算和分布式计算提高算力，也是现在最为主要的提高算力的方法。

其中，高性能计算的最核心技术就是并行计算，即同时使用多种计算资源解决计算问题的过程。从架构上看，并行计算又分为同构并行计算——把计算任务分配给一系列相同的计算单元，如多核CPU（中央处理器，计算机系统的运算和控制核心）架构；还有异构并行计算——把计算任务分配给不同制程架构、不同指令集、不同功能的计算单元，如CPU+GPU（图形处理器，又称显示核心、视觉处理器、显示芯片）的架构。

这里简单介绍一下CPU与GPU的差别，虽然总体上两者都包括运算器、控制单元、高速缓存器和动态随机存取存储器，但这些成分的构成比例却是不同的。CPU中控制单元和存储单元占的比例较大，计算单元则比例较小且不多，而GPU正好与之相反，这就造成了CPU长于控制和存储，而GPU则擅长计算，两者的组合正好形成互补关系。

2012年深度学习崛起之后，人们发现GPU非常适合用来训练神经网络模型。因为其绝大部分工作都是将不同的矩阵进行相乘或者矩阵和向量进行相乘，而GPU在矩阵相乘上就是非常高效，因此GPU开始被广泛地应用于人工智能。

与此同时，GPU的主要生产商如英伟达等也成为了人工智能时代重点关注对象。如运行ChatGPT的微软数据中心就用了上万块英伟达H100 GPU，这也是英伟达去年发布的最新旗舰AI芯片，接替了原本被称为AI应用“主力军”芯片的A100。根据英伟达的说法，与A100相比，H100的能效提高了3.5倍。并且，在今年3月刚刚召开的GTC 2023大会上，英伟达宣布围绕AI又推出了一个全新的H100 NVL GPU芯片，据说可将算力提速10倍。

然而，从2022年9月开始，无论是A100、H100还是AMD（另一家GPU巨头生产商）生产的MI250人工智能芯片都被禁止向中国进行出售，最新发布的H100 NVL GPU芯片同样如此。据公开信息显示，英伟达专供中国且完全符合出口规定的A800芯片，其传输速度只有A100的70%。这也是目前制约国内人工智能发展的关键因素之一。

再来介绍一下第一种提高算力方法中的分布式计算，即将分散在不同物理区域的计算单位聚集起来共同完成某一计算任务的方法，其典型代表就是现在经常听说的云计算。在云计算中，CPU、内存、硬盘、GPU等计算资源都被整合起来，通过软件的方式，组成一个虚拟的可无限扩展的“算力资源池”。用户需要算力时，无需自购设备、自建机房、自己运维，通过“算力资源池”的调度就可以实现算力资源的分配，用户直接按需付费即可。

在云计算时代，数据中心就是算力的主要载体。这也是目前国内各地开始建设大数据中心、云计算中心、智算中心、超算中心等信息基础设施的根本原因。

早在1961年，“人工智能之父”约翰·麦卡锡就曾预言，“有一天，计算可能会被组织成一个公共事业，就像电话系统是一个公共事业一样”。而现在，这一天正在成为现实。

根据国家信息中心联合相关部门于今年1月发布的《智能计算中心创新发展指南》显示，目前全国有超过30个城市正在建设或提出建设智算中心。通过各级各类计算中心网络，算力正像电力一样被输送进千行百业，成为社会发展最基础的公共资源。

第二种方法，从根本上改进设备，实现计算模式上的突破。

尽管高性能计算及分布式计算是当前人们提高算力的主要手段，但其制约因素比较多，而且算力的提升也有限。因此，提高算力的第二大方法成为了许多前沿科学家的追求，这其中典型代表就是量子计算。

过去几十年来，芯片上的晶体管数量基本按照摩尔定律在演进，也就是每两年密度增加一倍。然而，这种趋势不能一直持续。早在几年前，英伟达创始人、CEO黄仁勋就曾表示：“摩尔定律已死。”事实上，近几年芯片技术迭代的速度确实在放缓，这也是由于芯片微电路加工的光刻工艺不断逼近光学衍射极限，很难按照摩尔定律持续演进。

那么，还有什么办法可以突破这一极限？实际上，早在20世纪80年代，就有学者提出了量子计算的思想。其“薛定谔的猫”一样的叠加特性，使得每一个量子比特都可以当作2个运算单元，也就是说传统计算机需要2的N次方个晶体管来表示的计算量，量子计算机只需要N个就能完成。而当N越大时，量子计算的威力也就越大。这样一来，如果将晶体管计算机换成量子计算机，芯片工艺的难题就迎刃而解了。

不过，这里仍然面临其他的问题：一是找到适合并且可以通用的保持量子叠加态的物理载体，二是可广泛应用的计算场景。到目前为止，见诸报道的各种量子计算机都还只能执行少数几种特殊的场景，但未来发展前景非常可期。

尽管算力并不是影响人工智能发展的唯一因素，但却是其必要条件之一。号角已然吹响，下一个十年，要想在人工智能这条赛道上胜出，算力只怕是要攻破的第一道关了。

来源：科学大院

编辑/王静