Ce modèle a été publié dans HF papers le 2022-10-20 et contribué à Hugging Face Transformers le 2023-06-20.

FLAN-T5

Aperçu

FLAN-T5 a été publié dans l'article Scaling Instruction-Finetuned Language Models - il s'agit d'une version améliorée de T5 qui a été affinée sur un mélange de tâches.

On peut directement utiliser les poids de FLAN-T5 sans réentraîner le modèle :

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-small", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-small")

inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Pour a cup of bolognese into a large bowl and add the pasta']

FLAN-T5 intègre les mêmes améliorations que la version 1.1 de T5 (voir ici pour les détails complets des améliorations du modèle.)

Google a publié les variantes suivantes :

• google/flan-t5-small

• google/flan-t5-base

• google/flan-t5-large

• google/flan-t5-xl

• google/flan-t5-xxl.

Les points de contrôle originaux peuvent être trouvés ici.

Reportez-vous à la page de documentation de T5 pour toute référence API, exemples de code et notebooks. Pour plus de détails sur l’entraînement et l’évaluation de FLAN-T5, reportez-vous à la carte du modèle.