B站上线AI原声翻译功能 可还原UP主声线和音色
北京青年报客户端
2025-08-01 18:53
自今年5月哔哩哔哩(以下简称B站)宣布将下架原国际版APP,与国内版合并为一个统一APP后,近日,在今年的世界人工智能大会上,B站公布了其为服务海外用户而全新自研的“AI原声翻译功能”,以便海外用户更好体验游戏、科技、二次元等主推内容。
本次发布的“AI原声翻译”功能除了自动擦除中文字幕改为英文、弹幕翻译及各类按钮英文适配等基础的文本互译之外,还能完美还原UP主的声线、音色、气口,而非传统的机器音翻译,同时还能基于翻译语言进行口型模拟。这意味着在未来中文用户观看外语UP主视频或海外用户观看中文UP主视频时能无差别体验原汁原味的“本地化”翻译视频。后续,B站还将视需求把日语等语言加入“AI原声翻译”功能中。
据悉,为攻克“AI”原声翻译功能“中的核心挑战——尤其在游戏、二次元等专名梗点密集领域——实现原风格精准保留与语音时长完美对应,B站技术团队基于大语言模型构建翻译引擎,基于语音时长匹配、原声翻译标准与UP主独特风格构建多目标奖励模型,并采用对抗式强化学习训练驱动模型持续进化与精准适配。同时,引入Deep Research深度挖掘技术,专攻专有名词与流行梗点的翻译难点,确保最终译文准确、地道、传神。字幕擦除部分则结合了先进的多模态大模型OCR技术和基于STTN网络的视频重绘技术,实现字幕区域的精准检测与高还原度擦除。
文/北京青年报记者 温婧
编辑/胡克青
相关阅读
不完全调查:2024年大家都在用哪些AI软件
澎湃新闻 2025-01-01
苹果最新系统更新:苹果智能正式上线,全面支持AI写作,通话终于能录音了
澎湃新闻 2024-10-29
B站CEO陈睿:AI是年轻人在B站上最关注的内容
北京青年报客户端 2024-09-27
日漫要大规模出海了!日本AI漫画翻译公司获大机构注资
财联社 2024-05-09
AI“百模大战”现状:向垂直、B端谋场景 算力仍是主要制约因素
国际金融报 2023-11-17
轻松飙外语,AI视频翻译“走红”背后
新华社 2023-11-13
抖音上线地方方言自动翻译功能
北京青年报客户端 2023-09-26
双语数智人、AI楼宇管家…人工智能将怎样影响生活?|2023中关村论坛
北京青年报客户端 2023-05-28
最新评论