智东西

作者 李水青

编辑 心缘

智东西5月15日报道，昨日晚间，阿里通义万相团队开源Wan2.1-VACE（Video All-in-one Creation and Editing model，视频编辑与生成统一模型）。

这是目前业界功能最全的视频生成与编辑模型。单一模型可同时支持文生视频、图像参考视频生成、视频重绘、视频局部编辑、视频背景延展以及视频时长延展等多种生成和编辑能力，并支持多任务组合生成。

例如，Wan2.1-VACE可将竖版《蒙娜丽莎》静态图扩展为横版动态视频，并为其“戴上”参考图中的眼镜，一次性完成画幅扩展、时长延展和图像参考三项任务。

该模型基于通义万相V2.1基座训练，本次共开源1.3B和14B两个版本。其中1.3B版（轻量级）支持480P视频输出，可在消费级显卡运行；14B版（满血版）支持480P/720P，效果更优。

开发者可在GitHub、Huggingface及魔搭社区下载体验，该模型还将逐步在通义万相官网和阿里云百炼上线。

开源地址：

GitHub：https://github.com/Wan-Video/Wan2.1

HuggingFace：https://huggingface.co/Wan-AI

魔搭社区：https://www.modelscope.cn/organization/Wan-AI?tab=model

一、单一模型搞定视频生成和编辑

Wan2.1-VACE定位为“视频领域的全能模型”，支持全部主流输入形式，涵盖文本、图像、视频、Mask和控制信号，可以实现角色一致性、布局、运动姿态和幅度等要素的控制。

主要能力覆盖了：

1.视频重绘：支持通过景深、姿态、运动轨迹等多维度控制条件生成新视频。

2.局部编辑：实现视频对象的增删改，例如擦除人物、替换物体（如熊猫变狮子）。

3.图像参考生成：支持单图/多图作为主体或背景参考，例如将卡通形象与实景结合。

4.背景延展：自动扩展视频画幅（如横屏变超宽屏），或生成新背景替换绿幕。

5.时长延展：支持在时域上的生成变化，如帧延续、片段延续、相接等。

6.基础生成：基础的文生视频、图生视频、首尾帧等。

二、多任务组合，一次性完成视频增删改扩

Wan2.1-VACE的核心突破在于单模型支持多任务灵活组合处理，无需传统多模型串联的复杂工作流。

其支持任意基础能力的自由组合，用户无需针对特定功能训练一个新的专家模型，即可完成更复杂的任务，极大地扩展了AI视频生成的想象空间。

例如：在视频中框选区域替换为猫，同时参考原视频动作序列和新猫图片，实现局部编辑+动作迁移。

这种灵活的组合机制，不仅大幅简化创作流程，也极大拓展了 AI 视频生成的创意边界，例如：

组合图片参考 + 主体重塑功能 → 视频中物体替换

组合运动控制 + 首帧参考功能 → 静态图片的姿态控制

组合图片参考 + 首帧参考 + 背景扩展 + 时长延展 → 将竖版图拓展为横屏视频，并且在其中加入参考图片中的元素。

三、模型亮点解读：统一四大输入，破解多模态难题

Wan2.1-VACE基于通义万相文生视频模型研发，同时创新性提出了全新的视频条件单元 VCU，它在输入形态上统一了文生视频、参考图生视频、视频生视频、局部视频生视频4大类视频生成和编辑任务。

视频条件单元 VCU将多模态的各类上下文输入，总结成了文本、帧序列、Mask序列三大形态，在输入形式上统一了 4 类视频生成与编辑任务的统一。VCU 的帧序列和Mask序列在数学上可以相互叠加，为多任务的自由组合创造条件。

同时，Wan2.1-VACE还进一步解决了多模态输入的token序列化难题，将VCU输入的帧序列进行概念解耦，分开重构成可变序列和不可变序列后进行编码。

结语：视频生成技术进化，从单任务向多任务组合迈进

通义万相Wan2.1-VACE的推出，体现了视频生成技术从单任务向多任务组合迈进的趋势。其开源策略或有望降低AI视频创作门槛，从而进一步推动生成式AI在影视、广告等领域的应用。

自今年2月以来，通义万相已先后开源文生视频模型、图生视频模型和首尾帧生视频模型，目前在开源社区的下载量已超330万，在GitHub上斩获超1.1w star，是同期最受欢迎的视频生成模型。