Wan

Wan-2.1 da equipe Wan.

Este relatório apresenta o Wan, um conjunto abrangente e aberto de modelos de fundação para vídeo, projetado para expandir os limites da geração de vídeo. Construído sobre o paradigma mainstream de difusão com transformadores, o Wan alcança avanços significativos em capacidades generativas por meio de uma série de inovações, incluindo nosso novo VAE, estratégias de pré-treino escaláveis, curadoria de dados em larga escala e métricas de avaliação automatizadas. Essas contribuições, em conjunto, aprimoram o desempenho e a versatilidade do modelo. Especificamente, o Wan é caracterizado por quatro recursos principais: Desempenho de ponta: O modelo de 14B do Wan, treinado em um vasto conjunto de dados composto por bilhões de imagens e vídeos, demonstra as leis de escala da geração de vídeo em relação tanto ao tamanho dos dados quanto ao do modelo. Ele supera consistentemente os modelos open-source existentes, bem como as soluções comerciais de última geração, em múltiplos benchmarks internos e externos, demonstrando uma superioridade de desempenho clara e significativa. Abrangência: O Wan oferece dois modelos capazes, ou seja, 1,3B e 14B de parâmetros, para eficiência e eficácia, respectivamente. Ele também abrange múltiplas aplicações downstream, incluindo image-to-video, edição de vídeo guiada por instruções e geração de vídeo pessoal, abrangendo até oito tarefas. Eficiência de nível consumidor: O modelo de 1,3B demonstra uma eficiência de recursos excepcional, exigindo apenas 8,19 GB de VRAM, o que o torna compatível com uma ampla variedade de GPUs de nível consumidor. Abertura: Abrimos o código-fonte de toda a série do Wan, incluindo o código-fonte e todos os modelos, com o objetivo de fomentar o crescimento da comunidade de geração de vídeo. Essa abertura busca expandir significativamente as possibilidades criativas da produção de vídeo na indústria e fornecer à academia modelos de fundação para vídeo de alta qualidade. Todo o código e os modelos estão disponíveis em este URL https.

Você pode encontrar todos os checkpoints originais do Wan2.1 sob a organização Wan-AI.

Os seguintes modelos Wan são suportados no Diffusers:

Clique nos modelos Wan na barra lateral à direita para mais exemplos de geração de vídeo.

Geração de Texto para Vídeo

O exemplo abaixo demonstra como gerar um vídeo a partir de texto otimizado para memória ou velocidade de inferência.

Memória T2V

Velocidade de inferência T2V

Consulte o guia Reduzir o uso de memória para mais detalhes sobre as diversas técnicas de economia de memória.

O modelo de texto para vídeo Wan2.1 abaixo requer ~13GB de VRAM.

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.quantizers import PipelineQuantizationConfig
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

# group-offloading
onload_device = torch.device("cuda")
offload_device = torch.device("cpu")
apply_group_offloading(text_encoder,
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="block_level",
    num_blocks_per_group=4
)
transformer.enable_group_offload(
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="leaf_level",
    use_stream=True
)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

Compilation é lento na primeira vez, mas as chamadas subsequentes ao pipeline são mais rápidas. Caching também pode acelerar a inferência ao armazenar e reutilizar saídas intermediárias.

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

# torch.compile
pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.transformer = torch.compile(
    pipeline.transformer, mode="max-autotune", fullgraph=True
)

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

Geração de Vídeo a Partir do Primeiro e Último Quadro

O exemplo abaixo demonstra como usar o pipeline de imagem para vídeo para gerar um vídeo usando uma descrição de texto, um quadro inicial e um quadro final.

uso

Geração controlável de vídeo a partir de qualquer entrada

O Wan VACE suporta diversas técnicas de geração que alcançam a geração de vídeo controlável. Algumas das capacidades incluem:

Controle para Vídeo (Profundidade, Pose, Esboço, Fluxo, Escala de Cinza, Rabisco, Layout, Caixa Delimitadora, etc.). Biblioteca recomendada para pré-processar vídeos e obter vídeos de controle: huggingface/controlnet_aux
Imagem/Vídeo para Vídeo (primeiro quadro, último quadro, clipe inicial, clipe final, clipes aleatórios)
Inpainting e Outpainting
Sujeito ao Vídeo (rostos, objetos, personagens, etc.)
Composição para Vídeo (referencie qualquer coisa, anime qualquer coisa, troque qualquer coisa, expanda qualquer coisa, mova qualquer coisa, etc.)

Os trechos de código disponíveis neste pull request demonstram alguns exemplos de como vídeos podem ser gerados com sinais de controlabilidade.

A regra geral a ser lembrada ao preparar as entradas para o pipeline VACE é que as imagens de entrada, ou os quadros de um vídeo que você deseja usar para condicionamento, devem ter uma máscara correspondente que seja preta. A máscara preta indica que o modelo não gerará novo conteúdo para aquela área e usará apenas essas partes para condicionar o processo de geração. Para as partes/quadros que devem ser gerados pelo modelo, a máscara deve ser branca.

Wan-Animate: Animação e substituição de personagens unificadas com replicação holística

Wan-Animate da equipe Wan.

Apresentamos o Wan-Animate, um framework unificado para animação e substituição de personagens. Dada uma imagem de um personagem e um vídeo de referência, o Wan-Animate pode animar o personagem replicando com precisão as expressões e os movimentos do personagem no vídeo para gerar vídeos de personagens de alta fidelidade. Alternativamente, ele pode integrar o personagem animado no vídeo de referência para substituir o personagem original, replicando a iluminação e o tom de cor da cena para alcançar uma integração ambiental sem emendas. O Wan-Animate é construído sobre o modelo Wan. Para adaptá-lo a tarefas de animação de personagens, empregamos um paradigma de entrada modificado para diferenciar entre condições de referência e regiões para geração. Esse design unifica múltiplas tarefas em uma representação simbólica comum. Usamos sinais de esqueleto alinhados espacialmente para replicar o movimento corporal e recursos faciais implícitos extraídos de imagens de origem para reencenar expressões, permitindo a geração de vídeos de personagens com alta controlabilidade e expressividade. Além disso, para aprimorar a integração ambiental durante a substituição de personagens, desenvolvemos um Relighting LoRA auxiliar. Esse módulo preserva a consistência da aparência do personagem enquanto aplica a iluminação e o tom de cor ambientais apropriados. Os resultados experimentais demonstram que o Wan-Animate alcança desempenho state-of-the-art. Estamos comprometidos em disponibilizar os pesos do modelo e seu código-fonte em código aberto.

A página do projeto: https://humanaigc.github.io/wan-animate

Este modelo foi contribuído principalmente por M. Tolga Cangöz.

Uso

O pipeline Wan-Animate suporta dois modos de operação:

Modo de animação (padrão): Anima uma imagem de personagem com base no movimento e na expressão de vídeos de referência
Modo de substituição: substitui um personagem em um vídeo de fundo por um novo personagem, preservando a cena

Pré-requisitos

Antes de usar o pipeline, você precisa pré-processar seu vídeo de referência para extrair:

Vídeo de pose: Contém pontos-chave esqueléticos representando o movimento do corpo
Vídeo facial: Contém representações de características faciais para controle de expressão

Para o modo de substituição, você precisa adicionalmente de:

Vídeo de fundo: O vídeo original contendo a cena
Vídeo de máscara: Uma máscara que indica onde gerar conteúdo (branco) versus preservar o original (preto)

Vídeos brutos não devem ser usados para entradas como pose_video, que o pipeline espera que sejam pré-processados para extrair as informações adequadas. Scripts de pré-processamento para preparar essas entradas estão disponíveis no repositório original do Wan-Animate. A integração dessas etapas de pré-processamento no Diffusers está planejada para uma versão futura.

O exemplo abaixo demonstra como usar o pipeline Wan-Animate:

Modo de animação

Modo de substituição

Opções avançadas

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load character image and preprocessed videos
image = load_image("path/to/character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features

# Resize image to match VAE constraints
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person dancing energetically in a studio with dynamic lighting and professional camera work"
negative_prompt = "blurry, low quality, distorted, deformed, static, poorly drawn"

# Generate animated video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_length=77,
    guidance_scale=1.0,
    mode="animate",  # Animation mode (default)
).frames[0]
export_to_video(output, "animated_character.mp4", fps=30)

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load all required inputs for replacement mode
image = load_image("path/to/new_character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features
background_video = load_video("path/to/background_video.mp4")  # Original scene
mask_video = load_video("path/to/mask_video.mp4")  # Black: preserve, White: generate

# Resize image to match video dimensions
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person seamlessly integrated into the scene with consistent lighting and environment"
negative_prompt = "blurry, low quality, inconsistent lighting, floating, disconnected from scene"

# Replace character in background video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    background_video=background_video,
    mask_video=mask_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_lengths=77,
    guidance_scale=1.0,
    mode="replace",  # Replacement mode
).frames[0]
export_to_video(output, "character_replaced.mp4", fps=30)

Parâmetros Principais

mode: Escolha entre "animate" (padrão) ou "replace"
prev_segment_conditioning_frames: Número de quadros para orientação temporal (recomenda-se 1 ou 5). Usar 5 fornece melhor consistência temporal, mas requer mais memória
guidance_scale: Controla o quão de perto a saída segue o prompt de texto. Valores mais altos (5-7) produzem resultados mais alinhados com o prompt. Para o Wan-Animate, o CFG é desativado por padrão (guidance_scale=1.0), mas pode ser ativado para suportar prompts negativos e um controle mais fino sobre as expressões faciais. (Observe que o CFG atuará apenas sobre o prompt de texto e o condicionamento facial.)

Observações

O Wan2.1 suporta LoRAs com load_lora_weights().

Mostrar código de exemplo

# pip install ftfy
import torch
from diffusers import AutoModel, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
from diffusers.utils import export_to_video

vae = AutoModel.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="vae", dtype=torch.float32
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", vae=vae, dtype=torch.bfloat16
)
pipeline.scheduler = UniPCMultistepScheduler.from_config(
    pipeline.scheduler.config, flow_shift=5.0
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

pipeline.load_lora_weights("benjamin-paine/steamboat-willie-1.3b", adapter_name="steamboat-willie")
pipeline.set_adapters("steamboat-willie")

pipeline.enable_model_cpu_offload()

# use "steamboat willie style" to trigger the LoRA
prompt = """
steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""

output = pipeline(
    prompt=prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

WanTransformer3DModel e AutoencoderKLWan suportam carregamento a partir de arquivos únicos com from_single_file().

Mostrar código de exemplo

# pip install ftfy
import torch
from diffusers import WanPipeline, WanTransformer3DModel, AutoencoderKLWan

vae = AutoencoderKLWan.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/vae/wan_2.1_vae.safetensors"
)
transformer = WanTransformer3DModel.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors",
    dtype=torch.bfloat16
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers",
    vae=vae,
    transformer=transformer,
    dtype=torch.bfloat16
)

Defina o dtype do AutoencoderKLWan como torch.float32 para uma melhor qualidade de decodificação.
O número de quadros por segundo (fps) ou k deve ser calculado por 4 * k + 1.
Tente valores de shift mais baixos (2.0 a 5.0) para vídeos de menor resolução e valores de shift mais altos (7.0 a 12.0) para imagens de maior resolução.
Wan 2.1 e 2.2 suportam o uso de LightX2V LoRAs para acelerar a inferência. O uso deles no Wan 2.2 é ligeiramente mais complexo. Consulte este trecho de código para saber mais.
O Wan 2.2 possui dois denoisers. Por padrão, os LoRAs são carregados apenas no primeiro denoiser. É possível definir load_into_transformer_2=True para carregar os LoRAs no segundo denoiser. Consulte os exemplos este e este para saber mais.

Diffusers

Wan

Geração de Texto para Vídeo

Geração de Vídeo a Partir do Primeiro e Último Quadro

Geração controlável de vídeo a partir de qualquer entrada

Wan-Animate: Animação e substituição de personagens unificadas com replicação holística

Uso

Pré-requisitos

Parâmetros Principais

Observações

WanPipeline

classe diffusers.WanPipeline

__call__

encode_prompt

WanImageToVideoPipeline

classe diffusers.WanImageToVideoPipeline

__call__

encode_prompt

WanVACEPipeline

classe diffusers.WanVACEPipeline

__call__

encode_prompt

WanVideoToVideoPipeline

classe diffusers.WanVideoToVideoPipeline

__call__

encode_prompt

WanAnimatePipeline

classe diffusers.WanAnimatePipeline

__call__

encode_prompt

pad_video_frames

WanPipelineOutput

classe diffusers.pipelines.wan.pipeline_output.WanPipelineOutput

call

call

call

call

call