百度文心大模型日均调用量超7亿次,旗舰模型一年降价超90%
北京青年报客户端 2024-09-25 17:07

9月25日,在2024百度云智大会上,百度集团执行副总裁、百度智能云事业群总裁沈抖表示:“2024年大模型的产业落地正在加速,目前在千帆大模型平台上,文心大模型日均调用量超过7亿次,累计帮助用户精调了3万个大模型,开发出70多万个企业级应用。过去一年,文心旗舰大模型降价幅度超过90%,主力模型全面免费,最大限度降低了企业创新试错的成本。”

沈抖表示,大模型以及配套的算力管理平台、模型和应用开发平台,正在迅速成为新一基础设施。

以中国邮政储蓄银行为例,2023年,为加速大模型应用落地,邮储银行新增大量来自不同厂商的GPU资源,基于大模型为18个核心业务系统、30多家分行的金融业务提供AI赋能。在百舸的支持下,邮储银行顺利完成了不同型号GPU资源的部署、上线;同时,也实现了GPU、CPU算力的规划重组,有力保障了300多个大小模型、6000多次训练任务。模型迭代时间也从过去的一个半月大幅缩短至半天,并实现了更好的模型效果。

“百舸”是百度AI异构计算平台,百度智能云升级发布百舸AI异构计算平台4.0,面向万卡、十万卡集群全面升级算力管理能力。目前,百舸在万卡集群上实现了有效训练时长占比99.5%以上,业界领先。百舸4.0预置了主流的大模型训练工具,将万卡集群运行准备时间从几周缩减至1小时,极大地提升部署效率,缩短业务上线周期。

不仅是快,百舸还十分稳定。百舸4.0能够自动筛查集群状态,并基于对GPU故障的精准预测,及时转移工作负载,降低故障发生频次。此外,百舸独有的故障秒级感知定位、Flash Checkpoint模型任务状态回滚等技术,能够大幅减少集群故障处置时间。

百度还升级了千帆大模型平台3.0。在模型调用方面,升级后的千帆平台,不但可以调用包括文心系列大模型在内的近百个国内外大模型,还支持调用语音、视觉等各种传统的小模型。

过去一年,文心旗舰大模型降价幅度超过90%、主力模型全面免费,最大限度降低企业创新试错的成本。

沈抖在大会现场演示了如何通过对话,在AI速搭平台上开发一个资产管理应用。只需一句话描述对目标系统的需求,包含资产信息、资产入库、资产领用、资产维修、资产报废等功能模块,大模型就可以清晰地理解需求并生成应用。过去,这样一个应用即使用低代码方式开发也需要几天的时间,现在只需几分钟就能完成。

南方电网数字电网研究院副总经理胡荣表示,去年九月,南方电网发布了行业垂直领域首个自主可控的大模型“大瓦特”。“大瓦特”既是大模型、小模型及智能体构成的模型体系,也是开放共享的平台与生态体系。平台上,南方电网基于百度智能云千帆平台构建了电力调度值班助手。在应对突发事件时,电力调度值班助手可以秒级生成处置方案,极大地增强了调度员的应急响应能力。

文/北京青年报记者 温婧
编辑/樊宏伟

最新评论