Transformers

Transformers sert de cadre de définition des modèles pour les modèles d'apprentissage machine de pointe en texte, vision par ordinateur, audio, vidéo et modèles multimodaux, pour l'inférence comme pour l'entraînement.

Elle centralise la définition du modèle afin que celle-ci soit consensuelle dans tout l’écosystème. transformers est le pivot entre les frameworks : si une définition de modèle est prise en charge, elle sera compatible avec la majorité des frameworks d’entraînement (Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning, …), des moteurs d’inférence (vLLM, SGLang, TGI, …) et des bibliothèques de modélisation adjacentes (llama.cpp, mlx, …) qui exploitent la définition du modèle de transformers.

Nous nous engageons à soutenir les nouveaux modèles de pointe et à démocratiser leur utilisation en veillant à ce que leur définition soit simple, personnalisable et efficace.

Il existe plus d'1 million de points de contrôle de modèles Transformers sur le Hugging Face Hub que vous pouvez utiliser.

Explorez le Hub dès aujourd'hui pour trouver un modèle et utilisez Transformers pour vous lancer immédiatement.

Explorez la Chronologie des modèles pour découvrir les dernières architectures de modèles de texte, de vision, d'audio et multimodales dans Transformers.

Fonctionnalités

Transformers fournit tout ce dont vous avez besoin pour l'inférence ou l'entraînement avec des modèles pré-entraînés de pointe. Parmi les principales fonctionnalités, on trouve :

• Pipeline : classe d’inférence simple et optimisée pour de nombreuses tâches d’apprentissage automatique, telles que la génération de texte, la segmentation d’images, la reconnaissance vocale automatique, la réponse à des questions sur des documents, et bien d’autres.
• Trainer : un formateur complet qui prend en charge des fonctionnalités telles que la précision mixte, torch.compile et FlashAttention pour l’entraînement et l’entraînement distribué de modèles PyTorch.
• generate : Génération de texte rapide avec de grands modèles de langage (LLM) et des modèles de vision-langage (VLM), incluant la prise en charge du streaming et de plusieurs stratégies de décodage.

Conception

Lisez notre Philosophie pour en savoir plus sur les principes de conception de Transformers.

Transformers est conçu pour les développeurs, les ingénieurs en apprentissage automatique et les chercheurs. Ses principaux principes de conception sont les suivants :

1. Rapide et facile à utiliser : chaque modèle est implémenté à partir de seulement trois classes principales (configuration, modèle et préprocesseur) et peut être utilisé rapidement pour l'inférence ou l'entraînement avec Pipeline ou Trainer.
2. Modèles pré-entraînés : Réduisez votre empreinte carbone, vos coûts de calcul et votre temps de traitement en utilisant un modèle pré-entraîné plutôt qu’en entraînant un modèle entièrement nouveau. Chaque modèle pré-entraîné est reproduit aussi fidèlement que possible par rapport au modèle d’origine et offre des performances de pointe.

Apprendre

Si vous débutez avec Transformers ou souhaitez en savoir plus sur les modèles de type transformer, nous vous recommandons de commencer par le LLM course. Ce cours complet couvre tout, des fondamentaux sur le fonctionnement des modèles de type transformer jusqu’aux applications pratiques sur diverses tâches. Vous apprendrez le flux de travail complet, de la curation de jeux de données de haute qualité au fine-tuning de grands modèles de langage et à la mise en œuvre de capacités de raisonnement. Le cours contient à la fois des exercices théoriques et pratiques pour acquérir une connaissance fondamentale solide des modèles de type transformer au fil de votre apprentissage.