随着AI动画短片、MV在各平台冒头,AI视频业态正在改变。
回望约一年前,“搞笑”似乎还是AI视频的注脚,AI生成演员威尔·史密斯吃面条的视频中,人物面容扭曲、动作诡异。近期AI视频却变了个样子,一条AI贺岁MV中,小狗着古装弹奏乐器,动作流畅。AI《西游记》短片也火了一把,创作者“AI疯人院”冯彬告诉第一财经记者,近日有很多人前来问询,其中包括媒体记者,他的时间排得满满。
如果是从何时改变谈起,创作者“秋芝2046”表示,去年年中工具能做的程度还非常有限,年末发布的Midjourney V6则在图片质感和真实度上提升了一大步,SVD和Runway Gen-2也出现了,工具成熟度提升促使她成为创作者。“我抱着AI发展一定会很快的预期,但还是经常觉得太快了。”她表示。
如今,外界关注AI视频的新焦点变成OpenAI的Sora,这个有“世界模型”意味的文生视频模型可直接生成60秒视频,或推动AI视频往前再迈一大步。这又将对视频业态产生什么影响?
记者了解到,与很多人的想象不同,目前生成AI视频还不是“一键输入一键输出”般简单,最早一批制作精良AI视频的作者靠美术或设计背景入局,但AI工具确实已在图片与视频相关领域渗透,降低制作门槛。一名视频从业者告诉记者,或许Sora等AI工具并不会完全替代原本的影视行业,而是将构建新业态,形成新的平台和新的玩法,业界已在构思并跃跃欲试。
AI视频如何面世?
AI《西游记》视频中,孙悟空从石头中诞生,巨震引起玉帝注意,在花果山,孙悟空与群猴跳跃,进入水帘洞成为群猴之王,又为寻求长生不老术踏上前往灵台方寸山之路。画面中,花果山水帘洞内水流、植物错落,天庭依山而建,城镇街景呈现了古代着装的行人、门楼和商店。该视频在抖音登上热榜,有超100万人在看。
创作者冯彬告诉记者,这个视频是先AI绘图,再通过图生视频的形式生成。他使用的AI绘图工具是Midjourney,图生视频工具是Runway,构思阶段采用ChatGPT分析原著并规划分镜。其中出图耗费3天左右,他每天从上午10点多开始工作到隔天凌晨3点左右,出图三四千张,最后使用不到100个镜头,废片率还是很高,整个视频大概耗费一周。
“要给到AI细致描述,例如跟AI描述一个莲花冠,就能出来一个有相关元素的头冠。图片符合要求就保留,再生成一张合适的人的图片,在PS中处理合成。很多图需要二次处理,工程量还是很大。”冯彬说,AI能生成的内容有限,根据原著,花果山石碑上的字体是楷书,这些字体便是他后期加上的。服饰上,AI能生成中国古代服饰,但细节上,衣襟是左肩搭右肩还是相反,AI不一定准确。从图片生成AI视频也不是很简单,如果直接给AI一张图片,可能猴子的脸会变成人脸,必须给到AI限制。 此外,现在的AI视频中还难以实现合理的大幅度运动,角色间互动效果不尽如人意,需要规避一些对话、打斗等画面。
“有一个镜头是群猴鼓动下孙悟空往上跳,我向每只猴子添加了运动笔刷,结果可能有几只猴子画得比较抽象,AI搞不懂情况,做出一些很诡异的动作,有一只猴子直接跳悬崖里了,我做了20多次才得到一个适合镜头。”冯彬表示。
“秋芝2046”用的是AI绘图工具Midjourney V6和图生视频工具SVD和Runway,脚本阶段也采用GPT规划画面,并用GPT辅助生成提示词,以便在Midjourney中获得满意的风格,她的AI视频创作过程也不是“一键生成”。
“秋芝2046”告诉记者,一个绘图图像时长在几分钟到几小时之间,取决于画面复杂度,获得一段满意的AI视频可能需要几个小时,《恭喜发财》MV总时长近2分钟,她花费了一个多星期制作。“AI绘图废片率很高,生成质量通常不稳定,可采纳的比例在30%~40%之间。在Midjourney V6出来前,要绘制出满意的图片更难,这也是为什么我一个多月前才开始做AI视频。”“秋芝2046”告诉记者,图生视频则是5~8条视频中,有一条能够采用。为生成满意的图片或视频需提供详尽描述,但对于精细化控制仍不稳定。
“秋芝2046”也感受到AI绘图和图生视频工具目前的局限性,她告诉记者,MV中小狗以人的形式出现,AI可能没有很多相关的训练集,所以制作难度不小。她希望做不同于国外AIGC内容的尝试,制作的《花木兰》预告片难度也偏大,这类中国元素或古装题材AI模型的训练集中数据可能较少,可控性也比较差。
冯彬和“秋芝2046”都是在美术或影视上有一定基础的从业者,冯彬有10余年影视、游戏行业技术、美术从业经验,“秋芝2046”目前是AI创业者和AIGC内容创作者,此前是影视和营销行业从业者,制作过广告和独立电影。
在AI视频工具还存在诸多瑕疵的情况下,创作者的经验目前还显得尤为重要。冯彬告诉记者,就算Sora开放使用了,要把视频效果做好,还是从事美术或相关领域的从业者才能做好色彩、构图、镜头衔接、角色站位等。“秋芝2046”也是利用相关从业经验搭建了一套AI工具工作流,她告诉记者,搭建工作流的门槛并不低,培养跟AI交互的感觉和对语言的理解等也需要成本。
即便有诸多限制,AI工具仍在改变视频业态。冯彬表示,如果不使用AI,画一个场景可能得一两星期,大场景甚至要一个月左右。“如果不用AI,《恭喜发财》《花木兰》预告片这类视频可能不会存在,前者这种非现实又有现实质感的作品从构思、脚本到渲染等最少需几个月或一年,取决于团队体量,后者涉及的镜头量和场景对应上亿投资电影的素材。”“秋芝2046”表示,Sora直接越过一个量级,明年AIGC内容预计还会成倍增长。
Sora将改变什么?
“AI绘画迭代已经越来越快,Sora带给我的震惊程度还远远超过当时AI绘画的迭代。”冯彬告诉记者。实际上,AI工具已在绘图上率先渗透,随着Sora所代表的AI视频快速迭代,AI给视频业态带来的改变可能更加深刻。
据OpenAI官方技术报告,Sora能很好理解客观世界的因果逻辑与物理法则。相比Runway等只能生成几秒或十几秒视频的AI工具,Sora可生成的连贯视频长度达到60秒。
在AI绘图层面,AI早已替代部分人工,完成游戏美术人员部分工作。一名游戏从业者告诉记者,AI视频目前应用还不多,放大看其实存在瑕疵,未来看,则可能对游戏中的过场动画、剧情动画产生影响,游戏公司不再需要寻找外包制作。
“AI优化流程势在必行,我在海报概念图制作上已经开始用AI做了,AI可以在短时间内出图上百张,对节省前期成本有很大作用,过去还需要一笔预算用于雇佣团队来做,现在已经有变化了。”影视行业制片人林展(化名)告诉记者,Sora刚刚发布,这和之前的各类AI工具不一样,这一次代表AGI(通用人工智能)突破、世界模型正在形成。Sora的出现、AGI的发展未来还会使影视行业固有的流程模式迎来诸多挑战,流程工作者等角色面临被替代的风险,这也引发焦虑,但更多还是把AI当作工具,思想创作永远不会被替代。
林展告诉记者,影视业中一些云端或数据端执行类工作可能受到一定影响,如图像方面的画师、文字记录、CG(过场动画)创作,但源头创作者仍不可或缺,这涉及影视全产业链每个模块的人,如编剧、导演、美术指导、摄像指导等创作核心人员,执行人员的体量可能会简化,但总归需要下达指令的创作者。
“假设制作拍摄花木兰飞起来的镜头,演员需提前培训,武术指导需设计动作,拍摄当天还需服装化妆、场景修建、美术置景、灯光布置等并使用威亚装置,反复多遍得到一个镜头,这也导致影视一直是高门槛行业,即便数字摄影机进步、特效行业也有UE5游戏引擎出现,但内部涉及的具体实现仍低效。AI到来后,相信会帮助创作更好的艺术作品。” “秋芝2046”表示,AI在影视制作各流程都可能渗透,但AI不适合或没必要用到深度叙事长篇电影、以真实为核心的纪录片,以及成本极低的手机拍摄短视频等低成本视频,而适合创意性更强、灵活且时长较短的类型,如创意广告、宣传片、动画等。
北京五月风影视文化有限公司导演高希路则告诉记者,他目前主要专注电视剧和电影,还没有用到AI,目前看,短时间内也不会使用。“对于影视专业讲故事的从业者来说,我认为目前AI视频的有效应用几乎是零,未来大概率只能在技术创作者极少使用,就如现在影视制作中的‘特技’一样有限使用。”高希路认为,AI对不同类型的作品影响不同,对动画等作品作用相对更大,对纪录片等反映现实的作品影响较小。
对从业者而言,“替代”传统影视制作并非最重要的关键词,AI视频能否带来新业态或许才是更重要的。冯彬告诉记者,发布AI视频后,已经有人私下联系,有意开展商业合作。“这一波机会有可能不属于影视行业的人,影视行业赖以生存的体系已经很完善,对影视行业的近期影响也不会很大。根据AI视频做新平台可能是一个方向,或是以AIGC为主的内容平台。”一名视频从业者向记者表示。
编辑/范辉