AI修复 扮靓影像
人民日报海外版 2023-09-19 11:16

从1839年达盖尔发明银版摄影术,到1895年卢米埃尔兄弟放映世界上第一批影片,再到如今智能手机赋能日常记录,影像一直是“对抗”流淌不停的时光长河、“留住”历史瞬间的重要载体。

当经典影像从黑白变成彩色,从模糊变得清晰,AI影像修复让观众在更佳的观看体验中感受到科技的力量。

优化观看体验

去年4月1日,张国荣《热·情》演唱会超清修复版一经上线就“刷屏”了众多用户的朋友圈,吸引了3000多万人在线观看。

“一次偶然的机会,我们接触到宝丽金,他们正在寻找相关修复技术,于是大家一拍即合,开始了《热·情》演唱会的修复。”腾讯多媒体实验室视频处理技术负责人夏珍告诉记者,整个项目的传播效果完全超乎预期,也让团队看到老片修复在“C端”也非常有价值。

一场23年前的演唱会,摄制水平与当下肯定无法相比,再加上演唱会场景中灯光复杂多变、人物运动等多重因素的影响,AI如何顺利完成修复工作?“整个修复过程基本是自动化的,主要包括智能分析、画质修复、画质增强和智能编码四个模块。”夏珍逐一介绍了其中的原理,在智能分析环节,对噪声、划痕、亮度、饱和度等维度进行数据分析;得到分析结果后,进行画质修复和画质增强,去除噪声、划痕、压缩失真等破坏画质的因素,并进行分辨率提升、色彩增强、倍帧等画质增强处理;最后则是利用编码技术对视频进行智能压缩,在保证画质的前提下尽量压缩视频文件尺寸,便于传播、观看。

在特定内容修复之外,AI影像修复技术也已应用于影视剧修复当中。自2017年开始启动“高清修复计划”以来,优酷已经修复完成6000多部经典影视作品,多部早期影视剧修复后分辨率达到了4K的水平,其中不乏《唐伯虎点秋香》《红楼梦(1987版)》《新白娘子传奇(1992版)》等受到观众好评和喜爱的剧集。

“《新白娘子传奇》是我参与修复的第一部影视剧,由于整体画质比较模糊,我们在AI模型训练过程中通过调整损失函数和训练方式,让模型具备了更强的生成能力。”优酷算法工程师李通在人脸修复方面颇有研究,经过他和同事的努力,睫毛、头发、皮肤纹理等高频细节都能够在画面分辨率放大的过程中,既去模糊,又得到细节补足,进而提升用户的观看体验。

传承历史记忆

“院线电影《追光万里》当中的经典影像修复,是我们团队接手的第一个有代表性的AI影视修复项目,当时我们用了半年左右的时间,陆续修复了电影中用到的纪实片段,其中包括黎民伟、黄柳霜、李小龙等人的珍贵影像史料,最早的可以追溯到上世纪20年代。”回忆起修复“粤籍电影艺术家”真实影像资料的过程,夏珍感慨万千,在他看来,这些纪实片段的修复,不仅提升了观感,更让观众得以触摸历史。

这种触摸历史、传承记忆的感觉在重大节点和历史事件的影像修复上体现得尤为明显。去年国庆节,由央视军事与腾讯多媒体实验室联合策划的“彩色超清重现国庆阅兵高燃瞬间”用百余秒的时间带观众回顾了新中国15次国庆阅兵的珍贵历史瞬间,相关话题阅读量仅在微博平台就超2257万次。

其中,由于技术水平有限,1953年到1958年的阅兵式影像素材均为黑白影像。为了更清晰、生动地还原当年阅兵式的盛况,夏珍和团队基于腾讯“光影焕新”智能影像修复平台,对这些黑白老片做了针对性处理。“这项工作并不是简单的一键上色。首先我们需要将视频拆分成一个个子视频,给每一个子视频中的一个关键帧上色,再由算法完成相邻的前后帧的自动化上色修复,最终形成完整的修复视频。”夏珍说,为了保证上色的准确性,团队还特地拜访了军事专家,确定不同制式服装、武器装备的颜色,校对时甚至细化到了老兵胸口佩戴的一枚勋章上不同条纹的具体颜色。

“‘科技向善’是腾讯多媒体实验室的一个重要课题,我们一直在思考如何让技术在商业价值之外,发挥更大的社会价值。”夏珍表示,观众的点赞、转发等互动,正是科技的理性和情感的温暖实现交融的最佳体现,通过AI技术让观众与祖国产生跨越时间的情感共鸣,让他非常有成就感。

在专业机构之外,不少技术达人也在利用AI工具生产相关修复视频。B站UP主@大谷的游戏创作小屋和人民日报先后合作了《AI修复歼击机首飞名场面》《AI画出一条大河波浪宽》《AI修复珍贵画面∣中国民众欢庆日本投降》等视频,在八一建军节、国庆节、日本宣布无条件投降纪念日等重要节点均取得了不错的传播效果。在人民群众敲锣打鼓、举着火把游行的彩色修复画面上,“最喜欢AI的一集”“真正的万人空巷”等弹幕不时飘过。

应用前景广阔

当前,随着短视频拍摄、创作工具的不断丰富,短视频平台用户在观看之余,也日渐参与到短视频生产中。数据显示,截至2023年二季度,快手应用的DAU(平均日活跃用户数)和MAU(平均月活跃用户数)分别是3.76亿和6.73亿,每日的视频上传量在千万级。

“拍摄设备的硬件水平高低、二次创作过程中使用的素材质量差异、用户编辑和上传过程中多次转码造成的压缩损伤等因素都会给视频画质带来影响。”快手技术人员介绍,为了能让用户获得更加清晰的观看体验,音视频技术团队深入研究智能音视频修复及增强处理等相关技术,打造并落地了智能增强修复方案整合产品“快手质臻影音”,将AI技术应用于用户的日常使用过程中。

不管是经典影像修复还是用户生产内容的智能增强,其实都还只是AI技术在视频画质修复维度的应用。

在采访最后,记者请几位技术大咖聊了聊AI影像修复技术在未来值得期待的应用和发展方向。

在夏珍看来,作为AIGC(AI生成内容)的基础组件,画质增强技术在文生图、文生视频等方向上能帮助节省生成时间,生成更大、更清晰的图像和视频;在3D方向(如人脸建模)上使用超分技术则能大幅度提升建模的效果;随着手机等移动设备的处理能力不断提升,在云游戏、直播等场景下,超分技术也能帮助移动端用户获得更好的画质体验。

“AI修复技术本身是可批量复制的,这也就意味着我们可以降本增效,大大提升修复效率和质量。但目前AI修复也存在一定局限,AI可以解决80%的问题,剩下20%的定制化、风格化的修复需求,AI的表现尚不如人工。”李通表示,下一步,他们将通过算法迭代和优化,不断提升修复模型的通用性、稳定性和风格化修复能力,拓展AI影视修复效能,延长更多经典影视作品的生命力。

编辑/范辉

最新评论