斗鱼的降本增效 从大数据的“存算分离”开始
第一财经 2022-12-29 13:33

在今年7月,全球首次江豚分娩的直播,不仅让众网友得以近距离窥见江豚之貌,还能共同见证“国宝添丁”的神圣时刻,这场科普公益行动的直播通过斗鱼等平台进行分发,引起逾千万网友围观。

长着圆圆的脑袋、永远上扬的嘴角,江豚被称为“微笑天使”,但由于长期生活在水中,其天然的隐蔽性,导致人们对它知之甚少。

在今年7月,全球首次江豚分娩的直播,不仅让众网友得以近距离窥见江豚之貌,还能共同见证“国宝添丁”的神圣时刻,这场科普公益行动的直播通过斗鱼等平台进行分发,引起逾千万网友围观。

除了为期三天的直播外,斗鱼还联合华为云等共同上线了“数字江豚”计划,作为江豚保护的重要文创项目,推动全民参与江豚保护。据悉,斗鱼设计了6款憨态可掬的“数字江豚”供网友“认养”,在限免期内用户登陆斗鱼,在页面搜索“数字江豚”后即可领取一只独一无二的江豚。

“数字江豚”生成背后,依托的是华为云的区块链技术,以及强大的系统性能和高达百亿的存储能力,这助力了江豚数字凭证的极速生成、快速上链、存证及流转。

江豚直播以及“数字江豚”的创意吸引了更多人关注保护长江的公益事业,这是斗鱼和华为云合作的冰山一角。从2019年底正式对外公布战略合作以来,三年间华为云和斗鱼的合作越来越广泛,在大数据、云原生、视频直播等方面都展开了全面的合作。

“存算分离”助力降本增效

斗鱼成立于2014年,以游戏直播为主,也涵盖体育、综艺、娱乐等多种直播内容,目前是国内领先的电竞娱乐一站式直播分享平台。据斗鱼2022年最新财报显示,其第三季度平均移动端月活跃用户数达到了5710万。

每月千万级的用户活跃下,斗鱼平台的弹幕数更是达到上亿级别。斗鱼2021年公布的数据显示,平台2021年发送弹幕的总数足足达到了117亿条,比2020年多了近8亿条。庞大的用户数和活跃度,催生的数据量也是PB级的。

“随着业务规模越来越大,斗鱼面临数据量大、计算量大,维护成本高的困难。”在HUAWEI CONNECT 2019大会期间,斗鱼风控代表李瑞表示,斗鱼大数据分析平台是自建集群基于开源CDH,需要寻求稳定高性价比的解决方案。

此外,随着用户对内容质量的提高,1080 FHD的清晰度也已经成为最基本的要求,4K 120帧的超高清内容也已经进入观众的视野,这对斗鱼在内容制作、转码传输、播放性能、成本优化方面都带来极大的挑战。

斗鱼与华为云的战略合作由此展开。斗鱼相关负责人表示,通过严格的业务模拟、比拼测试后,华为云“存算分离+鲲鹏”大数据解决方案适用斗鱼大数据数据增速快于计算的业务场景。其在读写性能、复杂计算、简单计算、数据倾斜等方面均优于IDC本地大数据计算集群,整体性能得到大幅提升。

传统大数据平台主要基于本地HDFS作为大数据存储,存算一体耦合在同一集群。随着存储量的增长,这种存算一体的大数据技术架构,计算成本也随之线性增长。

“传统的大数据平台都是在物理机上插很多存储盘,由于大数据增长很快,经常需要扩磁盘,而由于计算和存储的磁盘是绑在一起的,因此哪怕计算资源要不了那么多,但因为存储不够,往往需要把计算和存储一起扩大,就会造成大量计算资源的浪费。”华为云相关业务负责人介绍。

华为在GIV 2025报告中指出,预计到2025年,全球每年新增数据存储量为180ZB,企业的数据利用率将会达到86%。在互联网快速发展的当下,数据存储计算的需求与日俱增。存储和算力的需求不一,迫切需要通过大数据计算存储分离方案来解决,否则无法灵活配置存储及算力,也难以满足企业基于海量数据分析追求性价比的典型场景。

在这种趋势下,几乎所有厂商都在存算分离上布局,但作为国内最早做存算分离的厂商,华为云在这个方向上是做得较为成熟、商业化落地较成功的一个。

“将存储和计算分开会造成两个问题,一是计算和存储之间的时延增大,其次是两边交互会有非常大的带宽。”华为云相关负责人表示,通过obs的方案华为云有能力解决这两个问题,在业界做到了真正的存算分离。

在华为云上,大数据客户的存储和计算是分开的,计算不够只需要扩计算,存储不够只需要扩存储,实现了计算、存储各自独立的扩缩容,从而减少故障风险,也将资源的利用率达到最优,最大限度降低企业使用成本。

此外,相比IDC,华为云存算分离解决方案的效率大概是两倍,“同样的一个计算任务跑的时间,华为云大概是IDC的一半,另外也不用再去维护IDC,扩个盘、插个卡都是很麻烦的,而且容易出问题。”华为云负责人介绍。

数据显示,基于华为云的大数据存算分离解决方案,TCO可以降低30%。与华为云的合作,让斗鱼不仅降低了成本,还能够轻松应对海量数据分析,提高业务分析效率。

云原生赋能文娱行业

除了大数据存储分离业务上的合作,在2019年底公布的战略合作中,斗鱼和华为云还表示,双方将在AI、视频云服务、5G+Cloud+直播创新等领域为用户打造更好的使用体验。

就在今年三季度,斗鱼举办了90 场自有品牌电竞赛事,包括《斗鱼王者荣耀大师赛》《2022 斗鱼和平精英秋名山杯第五季》等专业化赛事,还有牵头头部主播发起的赛事,如英雄联盟主播 Doinb 发起的《2022 LBL 秋季赛》等。

为保证这些赛事直播的稳定,华为云在背后提供CDN服务,做了不少保障。CDN本质是带宽,但实际上没有那么简单,尤其视频直播服务对厂商的要求较高,一方面得在全国有一个优质的网络,另一方面点位要非常多。

在网络的时延、稳定性等方面华为云都有出色的表现。目前华为云在全球有2800多个节点,其中中国大陆有2000多个加速节点,全网带宽能力高达150Tbps,属于业界第一梯队的水平,可以覆盖全国、全球各个区域,保证高速、稳定的业务访问体验。

此外,华为云有着精准调度、高性能缓存等优势,例如其独创AICache技术+多级缓存调度,可以实时跟踪全局热度,超高速、大容量SSD存储,有效提升缓存命中率、减少用户访问等待时间。

这是华为云能力的一个方面,在帮助斗鱼这样的文娱企业降本增效、业务升级等方面的表现突出。

在2021年底的“文娱社交行业高峰论坛”上,华为云媒体服务领域总裁吕阳明曾表示,互联网正在步入沉浸式、个性化、实时交互的空间视频时代。华为云的使命就是基于云原生媒体服务,以科技赋能文化创新,使“内容力”提升,实现“一切皆服务”。

这里提到的云原生,是一种面向云计算去构建和运行“应用程序”的方法,能大大改善应用开发运维迭代的效率,帮助企业业务创新迭代,其次能改进资源弹性管理和迁移的效率,帮助企业降本增效。

华为云在云原生领域深耕多年,在两年前最早提出了云原生2.0理念,让企业从“上云”到真正“生于云”,在降本增效、跨云管理、统一计算、云边协同四个方面都能赋能企业。以降本增效为例,华为云第二代“零损耗”裸金属容器解决方案,相比第一代容器成本下降30%、网络性能提升40%。

在赋能文娱音视频领域方面,基于华为云云原生基础设施的能力,可以实现超低时延、一网原生、千人互动。“基于全球2500个边缘站点进行容器化、弹性升级,进行实时互动、双向化的改造,华为云可以支持互动文娱、电商直播等场景的客户进行产品升级。”华为云视频云总监陆振宇此前表示。

基于视频流融合,华为云统一的一张网支持所有的业务场景,观众随时上麦互动,百豪秒低延时按需合流,降低分发成本。华为云还具有业界领先的音视频编解码技术,连续两年获得MSU世界编码大赛冠军,可以用最先进的编码技术提升编解码效率,实现同等画质30%-40%的码率节省。

在文娱行业,新技术的迭代层出不穷,很大程度上会影响到企业的发展。如在过去几年,AR/VR、物联网、区块链等不断出现,成为文娱企业都需要关注和布局的技术领域。但一种新的技术要完全被企业IT系统所掌握和运用,需要至少3年甚至更长的时间。根据IDC对全球360家企业的调研,企业最希望获得的数字化能力,就是新技术的持续引入和整合的能力。

在新技术领域方面,华为也在持续引领行业和布局生态,帮助企业最快、最便捷进行布局。以近两年火热的数字资产为例,面向下一代元宇宙生态发展的市场需求,华为云创新打造了数字资产链,基于华为云区块链引擎,实现数字资产的确权、可信保存、安全交易,为数字作品创作、数字资产发行与流转等提供了坚实底座。

前文斗鱼打造的“数字江豚”公益项目,正是基于华为云数字资产链,得以实现数字内容的极速生成、快速上链以及存证、流转。更早前,在央视频数字雪花项目中,华为云区块链以强大的系统性能、高达百亿的数据存储能力,结合数字资产链服务,做到雪花极速生成、实时上链存证。

从存算分离、云原生基础设施,到数字资产链,作为行业的先行者,华为云一直在进行自我迭代,不断用更新的技术、更超前的观念,赋能云客户的产品升级和降本增效,从始至终保持自己在行业的竞争力,也引领着行业的发展方向。

编辑/范辉

相关阅读
“数”“智”发力促物流降本增效
经济参考报 2024-11-07
人工智能促数字文娱产业升级迭代
经济参考报 2023-08-03
2023可信数据库发展大会在京召开
北京青年报客户端 2023-07-05
存算发展不均 数据存储成“东数西算”最大挑战
界面新闻 2023-06-09
赋能实体经济,惠及千行百业 数据中心“算力”不断提升
人民日报海外版 2023-05-01
大数据乘数效应加速释放 产业规模超1.5万亿元
经济参考报 2023-03-25
斗鱼:2022年累计惩罚主播超1万名、累计处理违规账号超20万个
北京青年报客户端 2023-01-06
降本增效提升互联网企业竞争力
经济日报 2022-12-01
最新评论