Hugging Face's logo

Diffusers documentation

LatteTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LatteTransformer3DModel

Модель Diffusion Transformer для 3D-данных из Latte.

LatteTransformer3DModel

класс diffusers.LatteTransformer3DModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Noneout_channels: int | None = Nonenum_layers: int = 1dropout: float = 0.0cross_attention_dim: int | None = Noneattention_bias: bool = Falsesample_size: int = 64patch_size: int | None = Noneactivation_fn: str = 'geglu'num_embeds_ada_norm: int | None = Nonenorm_type: str = 'layer_norm'norm_elementwise_affine: bool = Truenorm_eps: float = 1e-05caption_channels: int = Nonevideo_length: int = 16 )

forward

< >

( hidden_states: Tensortimestep: typing.Optional[torch.LongTensor] = Noneencoder_hidden_states: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneenable_temporal_attentions: bool = Truereturn_dict: bool = True )

Параметры

  • hidden_states (torch.Tensor формы (batch size, channel, num_frame, height, width)) — Входные hidden_states.
  • timestep ( torch.LongTensor, необязательный) — Используется для указания шага денойзинга. Необязательный timestep, применяемый как эмбеддинг в AdaLayerNorm.
  • encoder_hidden_states ( torch.FloatTensor формы (batch size, sequence len, embed dims), необязательный) — Условные эмбеддинги для слоя кросс-внимания. Если не заданы, кросс-внимание по умолчанию заменяется на само-внимание.
  • encoder_attention_mask ( torch.Tensor, необязательный) — Маска кросс-внимания, применяемая к encoder_hidden_states. Поддерживаются два формата:
    • Маска (batcheight, sequence_length) True = сохранить, False = отбросить.
    • Смещение (batcheight, 1, sequence_length) 0 = сохранить, -10000 = отбросить.

    Если ndim == 2: значение будет интерпретировано как маска, а затем преобразовано в смещение, соответствующее формату, описанному выше. Это смещение будет добавлено к оценкам кросс-внимания.

  • enable_temporal_attentions — (bool, необязательный, по умолчанию True): Включает ли временные внимания.
  • return_dict (bool, необязательный, по умолчанию True) — Определяет, следует ли возвращать ~models.unet_2d_condition.UNet2DConditionOutput вместо обычного кортежа.

Метод forward модели LatteTransformer3DModel.

Update on GitHub

←Krea2Transformer2DModel LongCatImageTransformer2DModel→