LTX2VideoDiffusionDecoderModel

Le décodeur vidéo par diffusion introduit dans LTX-2.5 par Lightricks. Les étapes d'attention de voisinage effectuent le suréchantillonnage du latent en un volume de contexte, et une étape finale débruite les pixels en se conditionnant sur ce contexte.

C’est un décodeur, et non un auto-encodeur : l’encodage reste du ressort de AutoencoderKLLTX2Video, dont l’espace latent est consommé ici sans modification, si bien que les latents sont interchangeables entre le décodeur convolutif et celui-ci. Étant lui-même un modèle de diffusion, il est piloté par LTX2VideoDiffusionDecodePipeline plutôt que d’être transmis comme le vae d’un pipeline : exécutez n’importe quel pipeline LTX-2 avec output_type="latent", puis décodez.

import torch
from diffusers import LTX2Pipeline, LTX2VideoDiffusionDecodePipeline, LTX2VideoDiffusionDecoderModel

pipe = LTX2Pipeline.from_pretrained("Lightricks/LTX-2.5-Diffusers", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"
latents = pipe(prompt="a potter shaping a clay vase", output_type="latent").frames

decoder = LTX2VideoDiffusionDecoderModel.from_pretrained(
    "Lightricks/LTX-2.5-Diffusers", subfolder="diffusion_decoder", dtype=torch.bfloat16
).to("cuda")
decode_pipe = LTX2VideoDiffusionDecodePipeline(diffusion_decoder=decoder, scheduler=pipe.scheduler)

# `denormalize=False`: `output_type="latent"` already applied the latent statistics, so applying them
# again here would scale every channel by its std a second time.
# The decoder also draws the noise it denoises, so decoding is only reproducible with a generator.
video = decode_pipe(
    latents, generator=torch.Generator("cuda").manual_seed(0), denormalize=False
).frames[0]

vae est un composant facultatif du pipeline de décodage : il n’est consulté que pour les statistiques latentes lorsque denormalize=True, et le décodeur en possède ses propres, de sorte qu’un flux de travail de décodage uniquement n’a pas à charger un second autoencodeur.

Backends d'attention

La fenêtre d’attention de voisinage est exprimée sous forme de BlockMask, le décodeur s’exécute donc par défaut sur le backend d’attention flex et n’exige aucune dépendance supplémentaire. PyTorch ne compile pas flex_attention à moins qu’on ne le lui demande, et non compilé, il matérialise la matrice de scores complète — ce qui est irréalisable pour des longueurs de séquence à résolution complète. Pour ces cas, il faut soit compiler le décodeur, soit passer aux noyaux de NATTEN, qui sont également ceux utilisés par l’implémentation d’origine. Le processeur récupère NATTEN depuis le Hub (shi-labs/natten) via le paquet kernels, il nécessite donc pip install kernels plutôt qu’une compilation locale de NATTEN :

from diffusers.models.autoencoders.ltx2_diffusion_decoder import LTX2VideoVaeNeighborhoodNattenProcessor

decoder.set_attn_processor(LTX2VideoVaeNeighborhoodNattenProcessor())

Récupération du code de téléchargement du noyau depuis le Hub, de sorte que le processeur lève une exception lorsque le code distant est désactivé globalement avec DIFFUSERS_DISABLE_REMOTE_CODE=true.

Chaque module d'attention du décodeur est la même attention de voisinage (les différences par étape, comme la taille du noyau, sont définies sur le module et non sur le processeur), de sorte que set_attn_processor les remplace tous par une instance partagée.

Passer le backend (decoder.set_attention_backend(...)) à autre chose que flex provoque une erreur : aucun autre backend n’accepte le BlockMask. Utilisez à la place le processeur NATTEN ci-dessus.

Tiling

decoder.enable_tiling() décode en tuiles superposées qui sont ensuite fusionnées, limitant ainsi la mémoire de pointe par la taille de la tuile plutôt que par la taille de la vidéo. Les étapes d’interpolation ascendante initiales, peu coûteuses, traitent toujours le latent complet — seules la dernière étape d’interpolation ascendante et l’étape de diffusion, qui dominent la mémoire de décodage, s’exécutent par tuile — de sorte que le tuilage ne modifie la sortie qu’aux abords des bords de tuile. Comme l’étape de diffusion débruite chaque tuile séparément, un décodage tuilé ne reproduit pas exactement le résultat non tuilé ; les tailles de tuile et de chevauchement par défaut correspondent à celles de l’implémentation de référence. L’attention de voisinage rejette tout grille plus petite que son noyau, de sorte qu’une tuile résiduelle finale est fusionnée avec sa voisine plutôt que décodée isolément.

LTX2VideoDiffusionDecoderModel