LTX2VideoDiffusionDecoderModel

El decodificador de video por difusión introducido en LTX-2.5 por Lightricks. Las etapas de atención de vecindad submuestrean el latente en un volumen de contexto, y una etapa final desruidifica los píxeles condicionados en ese contexto.

Es un decodificador, no un autoencoder: la codificación sigue en AutoencoderKLLTX2Video, cuyo espacio latente este consume sin cambios, por lo que los latentes son intercambiables entre el decodificador convolucional y este. Dado que es en sí mismo un modelo de difusión, lo controla LTX2VideoDiffusionDecodePipeline en lugar de pasarse como vae de un pipeline: ejecute cualquier pipeline de LTX-2 con output_type="latent" y luego decodifique.

import torch
from diffusers import LTX2Pipeline, LTX2VideoDiffusionDecodePipeline, LTX2VideoDiffusionDecoderModel

pipe = LTX2Pipeline.from_pretrained("Lightricks/LTX-2.5-Diffusers", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"
latents = pipe(prompt="a potter shaping a clay vase", output_type="latent").frames

decoder = LTX2VideoDiffusionDecoderModel.from_pretrained(
    "Lightricks/LTX-2.5-Diffusers", subfolder="diffusion_decoder", dtype=torch.bfloat16
).to("cuda")
decode_pipe = LTX2VideoDiffusionDecodePipeline(diffusion_decoder=decoder, scheduler=pipe.scheduler)

# `denormalize=False`: `output_type="latent"` already applied the latent statistics, so applying them
# again here would scale every channel by its std a second time.
# The decoder also draws the noise it denoises, so decoding is only reproducible with a generator.
video = decode_pipe(
    latents, generator=torch.Generator("cuda").manual_seed(0), denormalize=False
).frames[0]

vae es un componente opcional en el pipeline de decodificación: solo se consulta para las estadísticas latentes cuando denormalize=True, y el decodificador lleva las suyas, por lo que un flujo de trabajo solo de decodificación no tiene que cargar un segundo autoencoder.

Backends de atención

La ventana de atención de vecindad se expresa como una BlockMask, por lo que el decodificador se ejecuta de forma predeterminada en el backend de atención flex y no requiere ninguna dependencia adicional. PyTorch no compila flex_attention a menos que se le solicite, y sin compilar materializa la matriz de puntuación completa, lo cual es impráctico con longitudes de secuencia a resolución completa. Para esos casos, o bien compile el decodificador o bien cambie a los kernels de NATTEN, que también son los que utiliza la implementación original. El procesador obtiene NATTEN desde el Hub (shi-labs/natten) a través del paquete kernels, por lo que necesita pip install kernels en lugar de una compilación local de NATTEN:

from diffusers.models.autoencoders.ltx2_diffusion_decoder import LTX2VideoVaeNeighborhoodNattenProcessor

decoder.set_attn_processor(LTX2VideoVaeNeighborhoodNattenProcessor())

Obtención del código de descargas del kernel desde el Hub, por lo que el procesador genera un error cuando el código remoto está deshabilitado globalmente con DIFFUSERS_DISABLE_REMOTE_CODE=true.

Todos los módulos de atención en el decodificador son la misma atención de vecindad (las diferencias por etapa, como el tamaño del kernel, residen en el módulo, no en el procesador), por lo que set_attn_processor los reemplaza todos con una única instancia compartida.

Cambiar el backend (decoder.set_attention_backend(...)) a cualquier valor distinto de flex genera un error: ningún otro backend acepta la BlockMask. Utilice en su lugar el procesador NATTEN anterior.

Tiling

decoder.enable_tiling() decodifica en mosaicos superpuestos que se combinan nuevamente, limitando la memoria pico por el tamaño del mosaico en lugar del tamaño del video. Las etapas de interpolación inicial de bajo costo aún ven el latente completo; solo la última etapa de interpolación y la etapa de difusión, que dominan la memoria de decodificación, se ejecutan por mosaico, por lo que el mosaico cambia la salida solo cerca de los bordes de los mosaicos. Dado que la etapa de difusión desruidifica cada mosaico por separado, una decodificación con mosaicos no reproduce exactamente el resultado sin mosaicos; los tamaños predeterminados de mosaico y superposición coinciden con los de la implementación de referencia. La atención de vecindad rechaza cualquier cuadrícula más pequeña que su núcleo, por lo que un mosaico residual final se fusiona con su vecino en lugar de decodificarse por separado.

LTX2VideoDiffusionDecoderModel