Hugging Face's logo

Diffusers documentation

TransformerTemporalModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TransformerTemporalModel

Un modelo Transformer para datos similares a video.

TransformerTemporalModel

clase diffusers.TransformerTemporalModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Noneout_channels: int | None = Nonenum_layers: int = 1dropout: float = 0.0norm_num_groups: int = 32cross_attention_dim: int | None = Noneattention_bias: bool = Falsesample_size: int | None = Noneactivation_fn: str = 'geglu'norm_elementwise_affine: bool = Truedouble_self_attention: bool = Truepositional_embeddings: str | None = Nonenum_positional_embeddings: int | None = None )

Parámetros

  • num_attention_heads (int, opcional, valor predeterminado 16) — El número de cabezas a utilizar para la atención multi-cabeza.
  • attention_head_dim (int, opcional, valor predeterminado 88) — El número de canales en cada cabeza.
  • in_channels (int, opcional) — El número de canales en la entrada y la salida (especifícalo si la entrada es continua).
  • num_layers (int, opcional, valor predeterminado 1) — El número de capas de bloques Transformer a utilizar.
  • dropout (float, opcional, valor predeterminado 0.0) — La probabilidad de dropout a utilizar.
  • cross_attention_dim (int, opcional) — El número de dimensiones de encoder_hidden_states a utilizar.
  • attention_bias (bool, opcional) — Configura si la atención de TransformerBlock debe incluir un parámetro de sesgo.
  • sample_size (int, opcional) — El ancho de las imágenes latentes (especifíquelo si la entrada es discreta). Esto se fija durante el entrenamiento, ya que se utiliza para aprender un número de embeddings de posición.
  • activation_fn (str, opcional, valor predeterminado "geglu") — Función de activación a utilizar en la red feed-forward. Consulte diffusers.models.activations.get_activation para ver las funciones de activación admitidas.
  • norm_elementwise_affine (bool, opcional) — Configura si el TransformerBlock debe usar parámetros afines elementales aprendibles para la normalización.
  • double_self_attention (bool, opcional) — Configura si cada TransformerBlock debe contener dos capas de autoatención.
  • positional_embeddings — (str, opcional): El tipo de embeddings posicionales que se aplicará a la entrada de la secuencia antes de pasarla a use.
  • num_positional_embeddings — (int, opcional): La longitud máxima de la secuencia sobre la que se aplican los embeddings posicionales.

Un modelo Transformer para datos similares a video.

forward

< >

( hidden_states: Tensorencoder_hidden_states: typing.Optional[torch.LongTensor] = Nonetimestep: typing.Optional[torch.LongTensor] = Noneclass_labels: LongTensor = Nonenum_frames: int = 1cross_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True ) → TransformerTemporalModelOutput or tuple

Parámetros

  • hidden_states (torch.LongTensor de forma (batch size, num latent pixels) si es discreto, torch.Tensor de forma (batch size, channel, height, width) si es continuo) — hidden_states de entrada.
  • encoder_hidden_states ( torch.LongTensor de forma (batch size, encoder_hidden_states dim), opcional) — Incrustados condicionales para la capa de atención cruzada. Si no se proporcionan, la atención cruzada predeterminada es la autoatención.
  • timestep ( torch.LongTensor, opcional) — Se utiliza para indicar el paso de desruido. Paso temporal opcional que se aplica como un embedding en AdaLayerNorm.
  • class_labels ( torch.LongTensor de forma (batch size, num classes), opcional) — Se utiliza para indicar las etiquetas de clase de condicionamiento. Etiquetas de clase opcionales que se aplican como un embedding en AdaLayerZeroNorm.
  • num_frames (int, opcional, valor predeterminado 1) — El número de fotogramas que se procesarán por lote. Se utiliza para cambiar la forma de los estados ocultos.
  • cross_attention_kwargs (dict, opcional) — Un diccionario de kwargs que, si se especifica, se pasa al AttentionProcessor definido en self.processor dentro de diffusers.models.attention_processor.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un TransformerTemporalModelOutput en lugar de una tupla simple.

Devuelve

TransformerTemporalModelOutput o tuple

Si return_dict es True, se devuelve un TransformerTemporalModelOutput, en caso contrario, una tuple cuyo primer elemento es el tensor de la muestra.

El método forward de TransformerTemporal.

TransformerTemporalModelOutput

clase diffusers.models.transformers.transformer_temporal.TransformerTemporalModelOutput

< >

( sample: Tensor )

Parámetros

  • sample (torch.Tensor de forma (batch_size x num_frames, num_channels, height, width)) — Las salidas de estados ocultos condicionadas a la entrada encoder_hidden_states.

La salida de TransformerTemporalModel.

Update on GitHub

←Transformer2DModel WanAnimate2Transformer3DModel→