随着ChatGPT、百度文心一言等一系列大模型密集上线,AI大模型当下已经遍地开花。本周四,谷歌发布AI语言模型PaLM 2与OpenAI旗下GPT-4等系统展开竞争,国内云从科技、引力传媒等多家A股上市公司亦宣布AI大模型产品最新进展。在“AI百模大战”背后,随之带动的算力需求开始呈“爆炸式”增长,一场“算力储备战”已暗潮汹涌,全球算力市场持续火热。
据悉,AI由数据、算法(即模型)和算力驱动,其中任意一方的发展会推动其他方面需求的增长。有分析认为,当下行业内虽然拥有更多的数据以及做了更多的AI模型研究,但算力的扩展速度却没有跟上。今年4月,OpenAI就因需求量过大而停止了ChatGPT Plus的销售。对此,东方证券研报认为,主要系计算资源供不应求。
根据数据预测,AI时代算力的增长已远远超过了摩尔定律每18个月翻番的速率,预计到2030年全球超算算力将达到0.2ZFLOPS,平均年增速超过34%。华为更是预测,未来10年人工智能算力需求将会增长500倍以上。那么,身处“智能革命”起点的当下,什么才是AI算力的最优解?国内“算力军备竞赛”又走到哪一步了?
短期堆起的GPU竞争高地:以量取胜筑起大模型算力门槛 低配版英伟达GPU国内炒至10万元
众所周知,芯片能力直接影响着高算力训练效果和速度,相较于基于CPU芯片的通用算力,AI所需的智能算力则主要基于GPU、GPGPU及AISC等AI芯片所提供算力,用于人工智能的训练和推理。其中,GPU是一种专门用于处理图形、视频、游戏等高性能计算的硬件设备,凭借相较于其他硬件在算力方面的较大优势脱颖而出,同时随着英伟达A100、H100等型号产品的发布,前款产品在AI推理时吞吐量是CPU的249倍。GPU已成为当前AI算力的核心硬件。
中金公司研报表示,多GPU互联能力加强可以提高并行计算能力,因而算力提升对GPU数量的要求日益提高。随着单GPU的计算能力越来越难以应对深度学习对算力的需求,英伟达已经开始用多个GPU去解决问题。对此,业内分析认为,高端GPU的数量基本决定了一个厂商能够练多大的模型,后期将成为业内判断企业大模型能力的重要指标。
据TrendForce数据显示,如果以英伟达 A100 显卡的处理能力计算,GPT-3.5大模型需要2万块GPU来处理训练数据。亦有业内公认看法,做好AI大模型的算力门槛是1万枚A100芯片。
目前,全球GPU市场主要由英伟达、英特尔和AMD三家巨头垄断,去年Q4独立GPU份额分别为85%、6%、9%。其中,人工智能、云端计算和独立GPU主要为英伟达主导,A100和H100最高浮点算力分别实现19.5 TFLOPS 和67 TFLOPS。
相较于此,我国国产GPU尚处萌芽期,与国际厂商差距更大。但随着高端GPU的出口限令,针对中国市场推出的特供版A800也已涨10万元的高价,国内GPU市场需求紧迫。在此情形下国产化迫在眉睫,国产GPU厂商近几年也不断涌现,目前国内自研GPU的领军企业主要是寒武纪、景嘉微、华为昇腾等。其中,景嘉微是国内首家成功研制国产GPU芯片并实现大规模工程应用的企业。行业内专家称,主打产品JH920的性能与英伟达2016年发布的GTX 1050相仿,在中高端领域及硬核的算力需求仍存在较长的追赶道路。
对于整个算力市场,业内人士认为,目前烧GPU是最为现实的方案,尤其从国内GPU厂商的角度来看,国产GPU高端化薄弱,只有使更多低端的GPU去追赶和堆叠,通过优化和协调来协同作用,再去组合模拟优化的路径。
下场突围的存算一体:打破“内存墙”极限难题 全球玩家站上同一起跑线
不过,虽然GPU是目前最成熟的AI算力方案,但长时间来看,在算力昂贵和受限的制约下烧GPU并非长久之策。
在冯·诺伊曼结构计算机中计算和存储分离,存和算之间性能失配常常导致访存带宽低、时延长、功耗高等问题,运算效率被大打折扣,即面临着“内存墙”的制约问题。通俗来看,方正证券在4月30日研报中解释,虽然CPU/GPU并行加速技术可以提升算力,但随摩尔定律逼近极限,存储带宽制约了计算系统的有效带宽,系统算力增长步履维艰。
对此,方正证券认为,存算一体作为一种新的计算架构,其核心是将存储与计算完全融合,以新的高效运算架构进行二维和三维矩阵计算,具有更大算力(1000TOPS以上)、更高能效(超过10-100TOPS/W)、降本增效三大优势,能有效克服冯·诺依曼架构瓶颈,实现计算能效的数量级提升。业界普遍认为,其为“AI算力的下一极”,继CPU、GPU之后的算力架构“第三极”。
在存算一体市场中,海外厂商SST,Syntiant、Mythic因布局较早,走在商业化前列。不过,在新的技术领域比如基于ReRAM存算一体做大算力芯片,各国还处在同一起跑线,国内外众多企业纷纷开展存算一体技术的研发,包括英特尔、SK海力士、IBM、美光、三星、台积电、阿里等巨头,以及九天睿芯、恒烁股份、亿铸科技、千芯科技、苹芯科技、知存科技、智芯科等众多新兴AI和存储企业。
AI算力“神药”量子计算:谷歌、阿里等科技巨头扎堆进入 国内企业或借此赛道弯道超车
值得注意的是,在当前GPU、下一步存算一体的背后,还有着一位AI算力“神药”——量子计算。
据悉,量子计算机是基于量子力学原理构建的计算机,性能差距呈指数级增长。中金公司研报表示,相较经典计算机,量子计算机算力发生爆发式增长,形成“量子优越性”。业内分析认为,量子计算有望彻底解决经典计算的算力不足问题。并且,未来量子计算机肯定能够助力人工智能,随着AI所需的算力越来越多,2030年算力以及耗电量都可能出现超高数据级增长,因此对于真正解决AI大规模的算力需求,量子计算机是一个很有潜力的应用方向。
根据中金公司研报显示,谷歌、IBM、微软、亚马逊等全球科技巨头纷纷推出量子云服务平台。国内阿里、腾讯、百度、华为近年来也先后布局量子计算,比如百度成立了量子计算研究所;华为推出了“昆仑”量子计算模拟一体机,在摩尔定律渐趋失效下,量子计算为中国提供弯道超车机会。
此外,有市场分析指出,我国量子计算也在展开融资竞争赛。近一年来,国内包括量旋科技、图灵量子、华翊量子、未磁科技、本源量子在内的9家量子计算企业获得融资。
不过,安信证券提到,当前量子计算机的发展还面临着如退相干等问题,导致当前量子计算仍主要存在于实验室阶段,距离商业化较远。对此,有业内人士坦言,量子计算行业现在还未发生一些根本性的变化进展,中短期与其寄希望于其他方案来解决大模型所遇到的算力问题,不如指望GPU这些经典计算的硬件价格能下来。
编辑/范辉