Runway推出王炸新品Gen

近日,文生视频赛道又出王炸新产品。“老牌”AI视频玩家Runway推出了其最新力作——Gen-3 Alpha,与前一代Gen-2相比,这款新模型在细节丰富度、画面连贯性以及动作表现上都有了“显著的提升”。

据Runway介绍,Gen-3 Alpha经过了视频和图像的混合训练,继承了前一代在2023年11月发布时的功能,包括文本转视频、图像转视频、文本转图像等,同时还支持运动刷、高级相机控制和导演模式等多样化的控制方式。

从官方分享的视频来看,此次推出的Gen-3 Alpha在视频质量上有了显著提升,无论是难以把控的夜景灯光,还是景别的流畅切换,Gen-3 Alpha都称得上尽善尽美。

更重要的是,据知情人士透露,Gen-3 Alpha模型的生成速度非常之快。官方分享的演示视频普遍徘徊在10秒水平线上,而这10秒视频只需要90秒的时间就能快速生成,在业界保持了领先态势。Runway官方表示,Gen-3 Alpha将在未来几天内向所有人推出。

自今年初Sora正式开启文生视频热潮,海内外厂家纷纷开始加快步伐探索多模态内容生成领域。海外,Luma AI、Google密集推出新品新技术;国内则更注重本土素材训练及应用落地,AIGC软件A股上市公司万兴 科技 推出的国内首个音视频多 媒体 大模型万兴“天幕”效果瞩目、快手最新推出的视频大模型可灵也惊艳了不少用户。多模态生成领域已进入百花齐放的阶段。

其中,Luma AI于前不久官宣推出文生视频/图生视频模型Dream Machine,能根据文本生成高质量逼真视频,引发大量用户关注。目前,Dream Machine已免费向全球用户开放API试用,用户进入官网后用谷歌账号登录即可马上试用。每位用户每月可以免费生成30次视频,但每条视频的时长仅为5秒。如果需要生成更多视频,则需要订阅付费服务。该模型具有速度快、动作逼真等特点。

Google也不甘示弱,宣布推出新的模型技术Video-to-audio。和ElevenLabs推出的AI音效生成功能有异曲同工之妙,Video-to-audio支持根据视频和文本提示词生成和视频匹配的音频,甚至可以与主体角色唇形同步。

国内方面,快手于近日推出文生视频大模型“可灵”,支持生成最长2分钟、30fps的1080P视频,引发海内外AI圈关注。该模型在 游戏 开发、影视制作等领域有广泛应用,其背后涉及数据准备、模型架构、训练方案及优化策略等技术。不同于实验室的Demo或视频演示,可灵是快手推出的产品级应用,并已在快影APP中正式开启邀测。

此外值得关注的还有已开始探索应用落地的万兴“天幕”。基于20年来对全球多媒体创作者的深刻理解,万兴科技重磅推出国内首个专注于数字创意领域的音视频多媒体大模型万兴“天幕”,为全球创作者提供从模型到应用场景的全链路创作支持。

万兴“天幕”当前已通过中央网信办备案,并已正式开放公测,具备近百项音视频原子能力,其中文生视频能实现不同风格、丰富场景及主题的连贯性,一键生成时长率先支持60秒+。目前,万兴“天幕”众多能力已在旗下创意软件产品中规模化应用,其中Wondershare Filmora 13已集成大模型能力,落地AI Copilot智能剪辑助手、AI文字快剪、AIGC音乐生成等功能;AIGC“真人”短视频 营销 神器万兴播爆已实现大模型中数字人能力的应用,并提供领先的AI视频翻译能力。

作为AIGC行业的领军企业,万兴科技当前业务已覆盖200多个国家和地区,全球累计用户超过15亿,月活跃用户近1亿,被视为“中国版Adobe”。面向AIGC时代,万兴科技已推出多款AIGC创意新品,并持续推进旗下明星产品的AI化发展,旗下万兴喵影、Wondershare Filmora、Wondershare PDFelement等均已集成AIGC能力。

此次Runway产品更新中,值得关注的是,Runway宣布正在与一些娱乐和媒体机构携手合作,打造符合特定需求的Gen-3定制版本。

作为文生视频应用届的先驱者,Runway此前曾为斩获奥斯卡金像奖的科幻电影《瞬息全宇宙》提供过技术支持,而Gen-3 Alpha模型的定制化能够实现更精准的风格控制和角色一致性,满足特定的艺术和叙事需求,也将进一步加速Runway与影视行业的合作落地。