Utiliser Stable-Baselines3 sur Hugging Face

stable-baselines3 est un ensemble d'implémentations fiables d'algorithmes d'apprentissage par renforcement en PyTorch.

Explorer Stable-Baselines3 dans le Hub

Vous pouvez trouver les modèles Stable-Baselines3 en filtrant à gauche de la page des modèles.

Tous les modèles du Hub sont dotés de fonctionnalités utiles :

1. Une carte de modèle générée automatiquement, avec une description, une configuration d'entraînement et plus encore.
2. Balises de métadonnées qui aident à la découvrabilité.
3. Résultats d'évaluation à comparer avec d'autres modèles.
4. Un widget vidéo où vous pouvez voir votre agent en action.

Installer la bibliothèque

Pour installer la bibliothèque stable-baselines3, vous devez installer deux paquets :

• stable-baselines3 : bibliothèque Stable-Baselines3.
• huggingface-sb3 : code supplémentaire pour charger et téléverser des modèles Stable-baselines3 depuis le Hub.

pip install stable-baselines3
pip install huggingface-sb3

Utilisation de modèles existants

Vous pouvez simplement télécharger un modèle depuis le Hub à l'aide de la fonction load_from_hub

checkpoint = load_from_hub(
    repo_id="sb3/demo-hf-CartPole-v1",
    filename="ppo-CartPole-v1.zip",
)

Vous devez définir deux paramètres :

• --repo-id : le nom du dépôt Hugging Face que vous souhaitez télécharger.
• --filename : le fichier que vous souhaitez télécharger.

Partager vos modèles

Vous pouvez facilement téléverser vos modèles à l'aide de deux fonctions différentes :

1. package_to_hub() : enregistre le modèle, l'évalue, génère une carte de modèle et enregistre une vidéo de replay de votre agent avant de pousser le dépôt complet vers le Hub.

package_to_hub(model=model, 
               model_name="ppo-LunarLander-v2",
               model_architecture="PPO",
               env_id=env_id,
               eval_env=eval_env,
               repo_id="ThomasSimonini/ppo-LunarLander-v2",
               commit_message="Test commit")

Vous devez définir sept paramètres :

• --model : votre modèle entraîné.
• --model_architecture : nom de l'architecture de votre modèle (DQN, PPO, A2C, SAC…).
• --env_id : nom de l'environnement.
• --eval_env : environnement utilisé pour évaluer l'agent.
• --repo-id : le nom du dépôt Hugging Face que vous souhaitez créer ou mettre à jour. Il est de la forme <your huggingface username>/<the repo name>.
• --commit-message.
• --filename : le fichier que vous souhaitez pousser sur le Hub.

2. push_to_hub() : pousse simplement un fichier vers le Hub

push_to_hub(
    repo_id="ThomasSimonini/ppo-LunarLander-v2",
    filename="ppo-LunarLander-v2.zip",
    commit_message="Added LunarLander-v2 model trained with PPO",
)

Vous devez définir trois paramètres :

• --repo-id : le nom du dépôt Hugging Face que vous souhaitez créer ou mettre à jour. Il est de la forme <your huggingface username>/<the repo name>.
• --filename : le fichier que vous souhaitez pousser sur le Hub.
• --commit-message.

Ressources supplémentaires

• Documentation de Hugging Face Stable-Baselines3
• Documentation de Stable-Baselines3