Transformers documentation

Entraînement en précision mixte

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Entraînement en précision mixte

L’entraînement en pleine précision (fp32) stocke et calcule tout en 32 bits. La précision mixte utilise fp16 ou bf16 pour les passes avant et arrière intensives en calcul, tout en conservant une copie fp32 des poids pour la mise à jour de l’optimiseur. Le calcul est plus rapide, la mémoire des poids et des activations est réduite, et la stabilité de l’entraînement est préservée.

┌─────────────────────────────────────────────────────┐
│           MIXED PRECISION TRAINING LOOP             │
│                                                     │
│  fp32 master weights ──cast──▶ fp16/bf16            │
│         ▲                          │                │
│         │                    FORWARD (autocast)     │
│         │                    matmuls in fp16/bf16   │
│         │                    reductions stay fp32   │
│         │                          │ loss           │
│         │                    LOSS SCALE ×S  ──fp16  │
│         │                          │                │
│         │                    BACKWARD               │
│         │                    grads in fp16/bf16     │
│         │                          │                │
│         │                    UNSCALE ÷S    ──fp16   │
│         │                    check inf/nan          │
│         │                    cast grads → fp32      │
│         └────────────────────────── optimizer.step  │
└─────────────────────────────────────────────────────┘

Définissez bf16() ou fp16() sur True pour activer l’entraînement en précision mixte. Les deux sont des types sur 16 bits, mais bf16 possède la même plage d’exposant que fp32, ce qui évite presque toujours le dépassement. Utilisez bf16 sur les GPU Ampere ou plus récents (A100, H100) et repliez-vous sur fp16 pour le matériel plus ancien comme V100 ou T4.

Chargez le modèle en fp32, sinon autocast devient une opération sans effet. Le chargement en bf16 ou fp16 ne laisse aucune copie maîtresse en fp32 pour que l’optimiseur puisse effectuer ses mises à jour.

from transformers import TrainingArguments

args = TrainingArguments(..., bf16=True)
args = TrainingArguments(..., fp16=True)

Si votre modèle est numériquement stable en bf16/fp16, vous pouvez ignorer la précision mixte et charger et entraîner directement en bf16/fp16. Cela évite la copie des poids en fp32 en mémoire.

tf32

tf32 est un mode de calcul sur les GPU Ampere qui utilise une mantisse de 10 bits pour les produits matriciels, au lieu de 23 bits. Cela peut offrir un gain de vitesse, en particulier lorsqu’il est associé à bf16/fp16. PyTorch active tf32 pour les produits matriciels par défaut sur les GPU Ampere et plus récents, mais le définir explicitement dans TrainingArguments garantit qu’il est actif, indépendamment de la version de PyTorch ou des valeurs par défaut de l’environnement.

from transformers import TrainingArguments

args = TrainingArguments(..., bf16=True, tf32=True)

Étapes suivantes

  • Consultez le guide Kernels pour apprendre à accélérer l’entraînement à l’aide de noyaux fusionnés personnalisés.
  • Consultez le guide torch.compile pour apprendre à compiler le passage avant et le passage arrière afin d’augmenter le débit.
Update on GitHub