Couches de normalisation

Couches de normalisation personnalisées pour prendre en charge divers modèles dans 🤗 Diffusers.

AdaLayerNorm

classe diffusers.models.normalization.AdaLayerNorm

( embedding_dim: intnum_embeddings: int | None = Noneoutput_dim: int | None = Nonenorm_elementwise_affine: bool = Falsenorm_eps: float = 1e-05chunk_dim: int = 0 )

Paramètres

embedding_dim (int) — La taille de chaque vecteur d'embedding.
num_embeddings (int, facultatif) — La taille du dictionnaire d'embeddings.
output_dim (int, facultatif) —
norm_elementwise_affine (bool, par défaut `False) —
norm_eps (bool, par défaut False) —
chunk_dim (int, par défaut 0) —

Couche de normalisation modifiée pour intégrer les embeddings de pas de temps.

AdaLayerNormZero

classe diffusers.models.normalization.AdaLayerNormZero

< source >

( embedding_dim: intnum_embeddings: int | None = Nonenorm_type = 'layer_norm'bias = True )

Paramètres

embedding_dim (int) — La taille de chaque vecteur d'embedding.
num_embeddings (int) — La taille du dictionnaire d'embeddings.

Couche de normalisation adaptative, couche de normalisation adaptative zéro (adaLN-Zero).

AdaLayerNormSingle

classe diffusers.models.normalization.AdaLayerNormSingle

< source >

( embedding_dim: intuse_additional_conditions: bool = False )

Paramètres

embedding_dim (int) — La taille de chaque vecteur d'embedding.
use_additional_conditions (bool) — Indique s'il faut utiliser des conditions supplémentaires pour la normalisation.

Couche de normalisation adaptative, normalisation par couche unique (adaLN-single).

Tel que proposé dans PixArt-Alpha (voir : https://huggingface.co/papers/2310.00426 ; section 2.3).

AdaGroupNorm

classe diffusers.models.normalization.AdaGroupNorm

< source >

( embedding_dim: intout_dim: intnum_groups: intact_fn: str | None = Noneeps: float = 1e-05 )

Paramètres

embedding_dim (int) — La taille de chaque vecteur d'embedding.
num_embeddings (int) — La taille du dictionnaire d'embeddings.
num_groups (int) — Le nombre de groupes dans lesquels séparer les canaux.
act_fn (str, facultatif, par défaut None) — La fonction d'activation à utiliser.
eps (float, facultatif, par défaut 1e-5) — La valeur epsilon à utiliser pour la stabilité numérique.

Couche GroupNorm modifiée pour intégrer les embeddings de pas de temps.

AdaLayerNormContinuous

classe diffusers.models.normalization.AdaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm' )

Paramètres

embedding_dim (int) — Dimension de l'embedding à utiliser lors de la projection.
conditioning_embedding_dim (int) — Dimension de la condition d'entrée.
elementwise_affine (bool, defaults to True) — Boolean flag to denote if affine transformation should be applied.
eps (float, par défaut 1e-5) — Facteur epsilon.
bias (bias, par défaut True) — Indicateur booléen pour spécifier si un biais doit être utilisé.
norm_type (str, par défaut "layer_norm") — Couche de normalisation à utiliser. Valeurs prises en charge : “layer_norm”, “rms_norm”.

Couche de normalisation adaptative avec une couche de normalisation (layer_norm ou rms_norm).

RMSNorm

classe diffusers.models.normalization.RMSNorm

< source >

( dimeps: floatelementwise_affine: bool = Truebias: bool = False )

Paramètres

dim (int) — Nombre de dimensions à utiliser pour weights. N'est efficace que lorsque elementwise_affine est True.
eps (float) — Petite valeur à utiliser lors du calcul de la réciproque de la racine carrée.
elementwise_affine (bool, defaults to True) — Boolean flag to denote if affine transformation should be applied.
bias (bool, par défaut False) — Si le paramètre bias doit également être entraîné.

RMS Norm, introduite dans https://huggingface.co/papers/1910.07467 par Zhang et al.

GlobalResponseNorm

classe diffusers.models.normalization.GlobalResponseNorm

< source >

( dim )

Paramètres

dim (int) — Nombre de dimensions à utiliser pour gamma et beta.

Normalisation de la réponse globale introduite dans ConvNeXt-v2 (https://huggingface.co/papers/2301.00808).

LuminaLayerNormContinuous

classe diffusers.models.normalization.LuminaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm'out_dim: int | None = None )