阿里巴巴的新版本Wanxiang的一般定义的开源,这是

北京新闻Beike Finance(记者Luo Yidan)在5月14日晚上,阿里巴巴正式开设了Tongyi Wanxiang Wanxiang Wan2.1-Vace的来源,该VACE是最全面的视频生成和行业编辑模型。单个模型可以同时支持完整的主要世代系列和编辑功能,例如Wensheng视频,图像参考视频生成,视频重新启动,视频部分编辑,视频背景扩展和视频持续时间扩展。目前,有两个开放资源版本1.3b和14b。 1.3B版本可以在消费者图形卡上操作。 Github,Huggingface和Moddai社区的开发人员可以下载和体验它。该模型将逐渐在Tongyi Wanxiang和Alibaba Cloud Bool的官方网站上启动。据报道,WAN2.1-VACE是根据Ton Video Modelgyi Wanxiang Wensheng开发的,同时创新的VCU视频单元是创新的。它结合在一起四个主要的视频和编辑Wensheng视频活动,照片参考视频和视频视频形式。这是基于本地视频视频。同时,WAN2.1-VACE将进一步求解多模式输入令牌序列化的序列化,分解VCU帧顺序输入,并分别重新串通和不可逆的顺序,然后对其进行编码。 WAN2.1-VACE支持所有主流输入表格,涵盖文本,图像,视频,口罩和控制信号,并可以控制字符一致性,布局,运动和振幅等元素。例如,WAN2.1-VACE可以基于视频的对象或框架的参考映射生成视频,或者通过诸如删除和扩展本地的操作来恢复原始视频。该模型还可以通过控制信号(例如深度图,光流,布局,灰度,线路草稿等)编辑视频。例如,包含图像参考和主函数人体重塑的重塑可能会意识到视频对象的替代;更改图像参考,第一帧参考,背景扩展和持续时间扩展功能可以是水平视频中的垂直图片,并在此处为参考图像添加元素。编辑Chen Li校对Yang Li