PK Sora Runway发布新一代视频生成模型
第一财经 2024-06-18 13:49

继Sora、Vidu、快手可灵、Luma AI轮番出场“秀”完之后,视频生成领域的核心玩家Runway也来了。

当地时间6月17日,AI视频生成初创公司Runway在官网宣布,即将推出新的视频生成模型Gen-3 Alpha,该模型可以创建具有复杂场景变化、多种电影风格和详细艺术指导的高精细视频。

目前Gen-3还未开放给公众试用,但在官网的博客中,Runway秀出了数十个精彩的生成视频,无论是光线、色彩、运动轨迹、人物细节都非常逼真,有行业人士表示一些视频是Sora级别的质量。

Runway表示,Gen-3 Alpha是即将推出的一系列模型中的首个,这一系列模型是在为大规模多模态训练而构建的新基础设施上训练的。Gen-3 Alpha 经过视频和图像联合训练,将为 Runway 的文本转视频、图像转视频和文本转图像工具、现有控制模式(如运动画笔、高级相机控制、导演模式)以及即将推出的工具提供支持,以更精细地控制结构、风格和运动。

Gen-3 Alpha背后的训练工作是研究科学家、工程师和艺术家组成的跨学科团队共同努力完成的,旨在让Gen-3 Alpha理解、解释各种艺术风格和电影术语。Runway提到,与 Gen-2 相比,Gen-3在保真度、一致性和运动方面有了重大改进,并且朝着构建通用世界模型迈出了一步。

Runway 2018年成立纽约,在2023年6月完成了1.41亿美元的 C 轮融资,估值达到15亿美元,这一轮投资方包括谷歌、英伟达、Salesforce Venture 等。自创立以来Runway的总融资额已达2.37亿美元。

Runway是AI视频生成领域的先行者,2023年2月Runway发布第一代视频生成模型Gen1,支持视频风格转绘;随后在2023年3月发布Gen2,拉开了文生视频和图生视频的序幕。Runway也和不少电影有过合作,包括《黑寡妇》《瞬息全宇宙》等都运用了Runway的技术支持。

自OpenAI在年初发布Sora以来,AI视频生成“战场”就风起云涌。上周6月12日,AI初创公司Luma AI发布视频生成工具Dream Machine,效果逼真且开放使用,引起轰动,用户涌入网页导致“请求需排队”。同样在本月,快手自研视频生成大模型可灵上线,申请使用的预约人数已经超5万。4月底,生数科技发布首个文生视频模型Vidu,称全面对标Sora。

在这个时间点,Runway加入队列宣布发布新一代视频生成模型,有行业人士称其“坐不住了”。目前Runway官网工具界面仍然显示的是Gen-2模型,此次提及的Gen-3还未有入口。

编辑/范辉

最新评论