Fonctions d'activation

Fonctions d'activation personnalisées pour prendre en charge divers modèles dans 🤗 Diffusers.

GELU

( dim_in: intdim_out: intapproximate: str = 'none'bias: bool = True )

Paramètres

dim_in (int) — Le nombre de canaux dans l'entrée.
dim_out (int) — Le nombre de canaux dans la sortie.
approximate (str, facultatif, par défaut "none") — Si "tanh", utilise l'approximation tanh.
bias (bool, par défaut True) — Indique s'il faut utiliser un biais dans la couche linéaire.

Fonction d'activation GELU avec prise en charge de l'approximation tanh via approximate="tanh".

( dim_in: intdim_out: intbias: bool = True )

Paramètres

dim_in (int) — Le nombre de canaux dans l'entrée.
dim_out (int) — Le nombre de canaux dans la sortie.
bias (bool, par défaut True) — Indique s'il faut utiliser un biais dans la couche linéaire.

Une variante de la fonction d'activation gated linear unit.

( dim_in: intdim_out: intbias: bool = True )

Paramètres

dim_in (int) — Le nombre de canaux dans l'entrée.
dim_out (int) — Le nombre de canaux dans la sortie.
bias (bool, par défaut True) — Indique s'il faut utiliser un biais dans la couche linéaire.

La forme approximative de la fonction d'activation Gaussian Error Linear Unit (GELU). Pour plus de détails, consultez la section 2 de cet article.

( dim_in: intdim_out: intbias: bool = True )

Paramètres

dim_in (int) — Le nombre de canaux dans l'entrée.
dim_out (int) — Le nombre de canaux dans la sortie.
bias (bool, par défaut True) — Indique s'il faut utiliser un biais dans la couche linéaire.

Une variante de la fonction d'activation gated linear unit. Elle est similaire à GEGLU mais utilise SiLU / Swish au lieu de GeLU.

( )

Fonction d'activation SiLU avec l'entrée convertie en torch.float32.

( dim_in: intdim_out: intbias: bool = Trueactivation: str = 'silu' )