OpenAI文生视频AI工具Sora已发布数十个视频,展现了AI文生视频的新可能。第一财经记者了解到,随着多个文生图、文生视频软件发布,已有不少视频制作者开始制作AI视频。
例如,近日发布的一个用AI技术生成的《西游记》近4分钟动画短片展现了石猴从降生到拜师学艺的过程,花果山水帘洞内的水流、植物和摆设错落,天庭依山而建,视频还展示了孙悟空乘船前往城镇、来到灵台方寸山的过程。画面中,山峦烟雾缭绕,水面有落叶等细节,街景呈现了古代着装的行人、门楼和商店。这段视频发布在抖音和bilibili上,在bilibili有超70万观看。另一个与AI制作的《大闹天宫》预告片在bilibili上有超100万播放量,画面中,天庭的座椅、服饰透露着庄严,镂空的器皿显现出设计细节,人物面部表情自然。
一些AI制作的MV或预告片、宣传片也在视频平台上获得数十万播放量。例如,一个动物版《恭喜发财》MV有多个小狗穿着红色传统服饰的画面,并演奏多种乐器、骑自行车、写毛笔字,画面细节丰富,动物毛发细节清晰。广西卫视也在网上放出了全AI制作的龙年宣传片。据记者观察,这些AI视频的共同点是画面清晰且富有细节,但每个分镜的时长只有几秒,人物讲话时还未能匹配适合的嘴型,画面的连贯性和叙事性相比影视仍存在距离,这些特点使目前AI视频更适合制作预告片、MV等对叙事要求不高、对画面冲击力要求较高的中短视频。
与视频创作者已在使用的多个AI视频制作工具不同,Sora在视频时长上有明显优势,可直接生成60秒视频,但Sora目前还未对外开放使用。记者发现,不少AI制作视频都使用AI绘图工具先生成图片,再使用图生视频工具生成AI视频。例如,以上近4分钟的《西游记》动画的创作工具是AI绘图工具Midjourney和图生视频工具Runway,构思阶段采用了ChatGPT分析原著文字并规划分镜,随后通过剪映剪辑。以上《大闹天宫》预告片也使用Midjourney和Runway制作,剧本设计使用了大语言模型辅助。
发布以上《西游记》动画的博主“AI疯人院”从事美术工作15年,他表示,该视频如果人工制作至少需要半年,而自己在AI的帮助下一周就完成了。但他同时指出,绘图和图片生成视频的过程还会产生废稿,AI还很难完全理解创作者的意图,存在随机性。发布《大闹天宫》预告片的博主则在评论中称,AI迭代太快,要做成三个半小时的电影预计可以在两年内。但也有网友针对AI视频评论称,AI生成仍显得僵硬、像PPT、风格仍不够贴合主题。
市面上目前可生成AI视频的工具还包括谷歌Gemini、阿里云12VGen-XL等。阿里云在一个视频中介绍,生成视频不需美术和编导基础,创作者可以在魔搭创空间找到MotionAgent AI应用,通过该应用,在生成剧本时用到Qwen-7B-Chat大模型,在文生图时使用Stability的SDXL模型,再由图片生成视频,阿里云的视频生成软件是开源的12VGen-XL,音乐也可以通过提示词AI生成。
有影视制作者向第一财经记者表示,AI技术已在视频制作中应用,在平面设计上效果很好,但在AI视频中,目前逐帧光影衔接还有问题,从Sora放出的视频看,也存在逐帧的衔接问题。
2023年至今,与AI视频、图片相关的技术还在持续迭代。例如,此前香港科技大学、蚂蚁团队、浙江大学CAD&CG实验室合作的项目CoDeF,其算法能根据提示词对视频进行风格转换,香港大学、阿里巴巴和蚂蚁集团的新成果Anydoor可实现图片中物体瞬间移动,学界还有研究团队探索图像修复和还原技术。
编辑/范辉