北京青年报
腾讯云存储面向AIGC全面升级,80%头部大模型厂商采用
北京青年报客户端 2024-04-08 16:57

4月8日,腾讯云宣布云存储解决方案面向AIGC场景全面升级,据介绍,采用腾讯云AIGC云存储解决方案,可将大模型的数据清洗和训练效率均提升一倍,需要的时间缩短一半。目前,已经有80%的头部大模型企业选择了腾讯云AIGC云存储解决方案,包括百川智能、智谱、元象等明星大模型企业。

AI大模型的研发生产流程,分成数据采集与清洗、模型训练、推理三大环节,各环节都涉及海量的数据处理。

在数据采集与清洗环节,由于原始训练数据规模海量,且来源多样,对存储技术提出了多协议支持、高性能、大带宽的需求。在模型训练环节,通常需要每2-4小时保存一次训练成果,以便能在GPU故障时时能回滚,因此快速地读写checkpoint(检查点)文件也成了能否高效利用算力资源、提高训练效率的关键。

腾讯云自主研发并行文件存储CFS Turbo ,面向AIGC训练场景的进行了专门优化,每秒总读写吞吐达到TiB/s级别,每秒元数据性能高达百万OPS,均为业界第一。3TB checkpoint 写入时间从10分钟,缩短至10秒内,使大模型训练效率大幅提升。

此外,大模型推理场景对数据安全与可追溯性提出更高要求。腾讯云数据万象CI为此提供图片隐式水印、AIGC内容审核、智能数据检索MetaInsight等能力,为数据生产从“用户输入—预处理—内容审核—版权保护—安全分发—信息检索“业务全流程提供支撑,优化AIGC内容生产与管理模式,顺应监管导向,拓宽存储边界。

同时,随着训练数据和推理数据的增长,需要提供低成本的存储能力,减少存储开销。对象存储服务提供了高达 12 个 9 的数据持久性和 99.995% 的数据可用性,能够为业务提供持续可用的存储服务。

此外,针对AIGC的checkpoint记录、大视频文件读写、小图片读写等场景,腾讯云CFS Turbo还自研了分级缓存、自适应条带化、分布式元数据的技术,大幅提升了AIGC场景下的读写性能。除了大模型企业以外,CFS Turbo也被广泛应用于自动驾驶与工业仿真场景,包括博世汽车、蔚来等自动驾驶厂商,上海电气、深势等仿真场景,墨镜天合、追光等影视特效场景。

文/北京青年报记者 温婧
编辑/田野

相关阅读
腾讯汤道生:如果蛋糕不增长,结果就是“零和”游戏
北京青年报客户端 2024-09-05
文心大模型4.0 Turbo面向企业开放,文心旗舰模型全线降价
北京青年报客户端 2024-07-05
腾讯发布星脉网络2.0 让AI大模型训练效率提升20%
北京青年报客户端 2024-07-01
腾讯“青云计划”设置AI大模型招聘专项,支持青年人才“揭榜挂帅”
北京青年报客户端 2024-06-19
腾讯文生文模型将开源 下一代视频模型时长将超30秒
第一财经 2024-05-21
腾讯发布汽车行业大模型全栈能力架构,智能座舱产品将搭载在1500万台车上
北京青年报客户端 2024-04-25
商汤升级“日日新5.0”大模型 对标GPT-4Turbo
澎湃新闻 2024-04-24
有望打败闭源模型?阿里、百度、腾讯云厂商抢食开源Llama 3算力
第一财经 2024-04-23
最新评论