LeRobot documentation

NVIDIA IsaacLab Arena & LeRobot

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.6.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

NVIDIA IsaacLab Arena & LeRobot

LeRobot EnvHub prend désormais en charge la simulation accélérée par GPU avec IsaacLab Arena pour l'évaluation des politiques à grande échelle. Entraînez et évaluez des politiques d'apprentissage par imitation avec une simulation haute fidélité — le tout intégré à l'écosystème LeRobot.

IsaacLab Arena - GR1 Microwave Environment

IsaacLab Arena s'intègre à NVIDIA IsaacLab pour fournir :

  • 🤖 Corps humanoïdes : GR1, G1, Galileo avec diverses configurations
  • 🎯 Tâches de manipulation et de loco-manipulation : ouverture de porte, pick-and-place, appui sur bouton, et plus
  • ⚡ Rollouts accélérés par GPU : Exécution parallèle des environnements sur des GPU NVIDIA
  • 🖼️ Rendu RTX : Évaluer les politiques basées sur la vision avec un rendu réaliste, des réflexions et des réfractions
  • 📦 Jeanneaux de données compatibles LeRobot : Prêts pour l'entraînement avec GR00T N1x, PI0, SmolVLA, ACT et les politiques Diffusion
  • 🔄 Intégration EnvHub : Chargez des environnements depuis HuggingFace EnvHub en une seule ligne

Installation

Prérequis

Les exigences matérielles sont partagées avec Isaac Sim et sont détaillées dans Isaac Sim Requirements.

  • GPU NVIDIA avec prise en charge de CUDA
  • Pilote NVIDIA compatible avec IsaacSim 5.1.0
  • Linux (Ubuntu 22.04 / 24.04)

Configuration

# 1. Create conda environment
conda create -y -n lerobot-arena python=3.11
conda activate lerobot-arena
conda install -y -c conda-forge ffmpeg=7.1.1

# 2. Install Isaac Sim 5.1.0
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com

# Accept NVIDIA EULA (required)
export ACCEPT_EULA=Y
export PRIVACY_CONSENT=Y

# 3. Install IsaacLab 2.3.0
git clone https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab
git checkout v2.3.0
./isaaclab.sh -i
cd ..

# 4. Install IsaacLab Arena
git clone https://github.com/isaac-sim/IsaacLab-Arena.git
cd IsaacLab-Arena
git checkout release/0.1.1
pip install -e .
cd ..


# 5. Install LeRobot (evaluation extra for env/policy evaluation)
git clone https://github.com/huggingface/lerobot.git
cd lerobot
pip install -e ".[evaluation]"


# 6. Install additional dependencies
pip install onnxruntime==1.23.2 lightwheel-sdk==1.0.1 vuer[all]==0.0.70 qpsolvers==4.8.1
pip install numpy==1.26.0 # Isaac Sim 5.1 depends on numpy==1.26.0, this will be fixed in next release

Évaluation des politiques

Politiques pré-entraînées

Les politiques entraînées suivantes sont disponibles :

PolitiqueArchitectureTâcheLien
pi05-arena-gr1-microwavePI0.5GR1 Micro-ondesHuggingFace
smolvla-arena-gr1-microwaveSmolVLAGR1 Micro-ondesHuggingFace

Évaluer SmolVLA

pip install -e ".[smolvla]"
pip install numpy==1.26.0 # revert numpy to version 1.26
lerobot-eval \
    --policy.path=nvidia/smolvla-arena-gr1-microwave \
    --env.type=isaaclab_arena \
    --env.hub_path=nvidia/isaaclab-arena-envs \
    --rename_map='{"observation.images.robot_pov_cam_rgb": "observation.images.robot_pov_cam"}' \
    --policy.device=cuda \
    --env.environment=gr1_microwave \
    --env.embodiment=gr1_pink \
    --env.object=mustard_bottle \
    --env.headless=false \
    --env.enable_cameras=true \
    --env.video=true \
    --env.video_length=10 \
    --env.video_interval=15 \
    --env.state_keys=robot_joint_pos \
    --env.camera_keys=robot_pov_cam_rgb \
    --trust_remote_code=True \
    --eval.batch_size=1

Évaluer PI0.5

pip install -e ".[pi]"
pip install numpy==1.26.0 # revert numpy to version 1.26
PI0.5 requires disabling torch compile for evaluation:
TORCH_COMPILE_DISABLE=1 TORCHINDUCTOR_DISABLE=1 lerobot-eval \
    --policy.path=nvidia/pi05-arena-gr1-microwave \
    --env.type=isaaclab_arena \
    --env.hub_path=nvidia/isaaclab-arena-envs \
    --rename_map='{"observation.images.robot_pov_cam_rgb": "observation.images.robot_pov_cam"}' \
    --policy.device=cuda \
    --env.environment=gr1_microwave \
    --env.embodiment=gr1_pink \
    --env.object=mustard_bottle \
    --env.headless=false \
    --env.enable_cameras=true \
    --env.video=true \
    --env.video_length=15 \
    --env.video_interval=15 \
    --env.state_keys=robot_joint_pos \
    --env.camera_keys=robot_pov_cam_rgb \
    --trust_remote_code=True \
    --eval.batch_size=1
To change the number of parallel environments, use the ```--eval.batch_size``` flag.

À quoi s'attendre

Lors de l'évaluation, vous verrez une barre de progression affichant le taux de réussite en cours :

Stepping through eval batches:   8%|██████▍    | 4/50 [00:45<08:06, 10.58s/it, running_success_rate=25.0%]

Enregistrement vidéo

Pour activer l’enregistrement vidéo pendant l’évaluation, ajoutez les drapeaux suivants à votre commande :

--env.video=true \
--env.video_length=15 \
--env.video_interval=15

Pour plus de détails sur l'enregistrement vidéo, consultez la documentation d'enregistrement IsaacLab.

When running headless with `--env.headless=true`, you must also enable cameras explicitly for camera enabled environments:
--env.headless=true --env.enable_cameras=true

Répertoire de sortie

Les vidéos d'évaluation sont enregistrées dans le répertoire de sortie avec la structure suivante :

outputs/eval/<date>/<timestamp>_<env>_<policy>/videos/<task>_<env_id>/eval_episode_<n>.mp4

Par exemple :

outputs/eval/2026-01-02/14-38-01_isaaclab_arena_smolvla/videos/gr1_microwave_0/eval_episode_0.mp4

Politiques d'entraînement

Pour en savoir plus sur l'entraînement des politiques avec LeRobot, veuillez consulter la documentation d'entraînement :

Des jeux de données d'exemple pour IsaacLab Arena sont disponibles sur HuggingFace Hub pour des expérimentations :

Jeu de donnéesDescriptionImages
Arena-GR1-Manipulation-TaskManipulation micro-ondes GR1~4K
Arena-G1-Loco-Manipulation-TaskLoco-manipulation G1~4K

Configuration de l'environnement

Options de configuration complètes

from lerobot.envs.configs import IsaaclabArenaEnv

config = IsaaclabArenaEnv(
    # Environment selection
    environment="gr1_microwave",      # Task environment
    embodiment="gr1_pink",            # Robot embodiment
    object="power_drill",             # Object to manipulate

    # Simulation settings
    episode_length=300,               # Max steps per episode
    headless=True,                    # Run without GUI
    device="cuda:0",                  # GPU device
    seed=42,                          # Random seed

    # Observation configuration
    state_keys="robot_joint_pos",     # State observation keys (comma-separated)
    camera_keys="robot_pov_cam_rgb",  # Camera observation keys (comma-separated)
    state_dim=54,                     # Expected state dimension
    action_dim=36,                    # Expected action dimension
    camera_height=512,                # Camera image height
    camera_width=512,                 # Camera image width
    enable_cameras=True,              # Enable camera observations

    # Video recording
    video=False,                      # Enable video recording
    video_length=100,                 # Frames per video
    video_interval=200,               # Steps between recordings

    # Advanced
    mimic=False,                      # Enable mimic mode
    teleop_device=None,               # Teleoperation device
    disable_fabric=False,             # Disable fabric optimization
    enable_pinocchio=True,            # Enable Pinocchio for IK
)

Utilisation directe d'Environment Hub pour un usage avancé

Créez un fichier nommé test_env_load_arena.py ou téléchargez-le depuis EnvHub :

import logging
from dataclasses import asdict
from pprint import pformat
import torch
import tqdm
from lerobot.configs import parser
from lerobot.configs.eval import EvalPipelineConfig


@parser.wrap()
def main(cfg: EvalPipelineConfig):
    """Run random action rollout for IsaacLab Arena environment."""
    logging.info(pformat(asdict(cfg)))

    from lerobot.envs import make_env

    env_dict = make_env(
        cfg.env,
        n_envs=cfg.env.num_envs,
        trust_remote_code=True,
    )
    env = next(iter(env_dict.values()))[0]
    env.reset()
    for _ in tqdm.tqdm(range(cfg.env.episode_length)):
        with torch.inference_mode():
            actions = env.action_space.sample()
            obs, rewards, terminated, truncated, info = env.step(actions)
            if terminated.any() or truncated.any():
                obs, info = env.reset()
    env.close()


if __name__ == "__main__":
    main()

Exécuter avec :

python test_env_load_arena.py \
    --env.environment=g1_locomanip_pnp \
    --env.embodiment=gr1_pink \
    --env.object=cracker_box \
    --env.num_envs=4 \
    --env.enable_cameras=true \
    --env.seed=1000 \
    --env.video=true \
    --env.video_length=10 \
    --env.video_interval=15 \
    --env.headless=false \
    --env.hub_path=nvidia/isaaclab-arena-envs \
    --env.type=isaaclab_arena

Créer de nouveaux environnements

Créez d'abord un nouvel environnement IsaacLab Arena en suivant la documentation d'IsaacLab Arena.

Clonez notre dépôt EnvHub :

git clone https://huggingface.co/nvidia/isaaclab-arena-envs

Modifiez le fichier example_envs.yaml en fonction de votre nouvel environnement. Envoyez votre dépôt modifié sur HuggingFace EnvHub.

Your IsaacLab Arena environment code must be locally available during evaluation. Users can clone your environment repository separately, or you can bundle the environment code and assets directly in your EnvHub repo.

Ensuite, lors de l'évaluation, utilisez votre nouvel environnement :

lerobot-eval \
    --env.hub_path=<your-env-hub-path>/isaaclab-arena-envs \
    --env.environment=<your new environment> \
    ...other flags...

Nous attendons avec impatience vos contributions !

Dépannage

CUDA hors mémoire

Réduisez batch_size ou utilisez un GPU doté d'une VRAM plus importante :

--eval.batch_size=1

EULA non acceptée

Définissez les variables d’environnement avant l’exécution :

export ACCEPT_EULA=Y
export PRIVACY_CONSENT=Y

Enregistrement vidéo non fonctionnel

Activer les caméras lors de l’exécution en mode sans interface :

--env.video=true --env.enable_cameras=true --env.headless=true

Incohérence de la dimension de sortie de la politique

Vérifiez que action_dim correspond à votre politique :

--env.action_dim=36

libGLU.so.1 Erreurs lors de l'initialisation d'Isaac Sim

Vérifiez que les dépendances suivantes sont installées, ce qui est susceptible de se produire sur des machines sans interface graphique.

sudo apt update && sudo apt install -y libglu1-mesa libxt6

Voir aussi

Lightwheel LW-BenchHub

Lightwheel met à disposition Lightwheel-Libero-Tasks et Lightwheel-RoboCasa-Tasks, comprenant 268 tâches, au sein de l'écosystème LeRobot. LW-BenchHub collecte et génère des jeux de données à grande échelle via la téléopération, conformes à la spécification LeRobot, permettant des flux de travail d'entraînement et d'évaluation prêts à l'emploi. Grâce à l'interface unifiée fournie par EnvHub, les développeurs peuvent rapidement construire des pipelines expérimentaux de bout en bout.

Installer

En supposant que vous avez suivi les étapes de Installation, vous pouvez installer LW-BenchHub avec :

conda install pinocchio -c conda-forge -y
pip install numpy==1.26.0 # revert numpy to version 1.26

sudo apt-get install git-lfs && git lfs install

git clone https://github.com/LightwheelAI/lw_benchhub
cd lw_benchhub
git lfs pull # Ensure LFS files (e.g., .usd assets) are downloaded

pip install -e .

Pour des instructions plus détaillées, veuillez consulter la documentation de LW-BenchHub.

Lightwheel Tasks Dataset

Les jeux de données LW-BenchHub sont disponibles sur HuggingFace Hub :

Jeu de donnéesDescriptionTâchesImages
Lightwheel-Tasks-X7SX7S LIBERO et RoboCasa117~10.3M
Lightwheel-Tasks-Double-PiperDouble-Piper LIBERO130~6.0M
Lightwheel-Tasks-G1-ControllerG1-Controller LIBERO62~2.7M
Lightwheel-Tasks-G1-WBCG1-WBC RoboCasa32~1.5M

Pour les politiques d'entraînement, reportez-vous à la section Training Policies.

Évaluation des politiques

Politiques pré-entraînées

Les politiques entraînées suivantes sont disponibles :

PolitiqueArchitectureTâcheMise en pageRobotLien
smolvla-double-piper-pnpSmolVLAL90K1PutTheBlackBowlOnThePlatelibero-1-1DoublePiper-AbsHuggingFace

Évaluer SmolVLA

lerobot-eval \
  --policy.path=LightwheelAI/smolvla-double-piper-pnp \
  --env.type=isaaclab_arena \
  --rename_map='{"observation.images.left_hand_camera_rgb": "observation.images.left_hand", "observation.images.right_hand_camera_rgb": "observation.images.right_hand", "observation.images.first_person_camera_rgb": "observation.images.first_person"}' \
  --env.hub_path=LightwheelAI/lw_benchhub_env \
  --env.kwargs='{"config_path": "configs/envhub/example.yml"}' \
  --trust_remote_code=true \
  --env.state_keys=joint_pos \
  --env.action_dim=12 \
  --env.camera_keys=left_hand_camera_rgb,right_hand_camera_rgb,first_person_camera_rgb \
  --policy.device=cuda \
  --eval.batch_size=10 \
  --eval.n_episodes=100

Configuration de l'environnement

L'évaluation peut être lancée rapidement en modifiant les paramètres robot, task et layout dans le fichier de configuration.

Options de configuration complètes

# =========================
# Basic Settings
# =========================
disable_fabric: false
device: cuda:0
sensitivity: 1.0
step_hz: 50
enable_cameras: true
execute_mode: eval
episode_length_s: 20.0 # Episode length in seconds, increase if episodes timeout during eval

# =========================
# Robot Settings
# =========================
robot: DoublePiper-Abs # Robot type, DoublePiper-Abs, X7S-Abs, G1-Controller or G1-Controller-DecoupledWBC
robot_scale: 1.0

# =========================
# Task & Scene Settings
# =========================
task: L90K1PutTheBlackBowlOnThePlate # Task name
scene_backend: robocasa
task_backend: robocasa
debug_assets: null
layout: libero-1-1 # Layout and style ID
sources:
  - objaverse
  - lightwheel
  - aigen_objs
object_projects: []
usd_simplify: false
seed: 42

# =========================
# Object Placement Retry Settings
# =========================
max_scene_retry: 4
max_object_placement_retry: 3

resample_objects_placement_on_reset: true
resample_robot_placement_on_reset: true

# =========================
# Replay Configuration Settings
# =========================
replay_cfgs:
  add_camera_to_observation: true
  render_resolution: [640, 480]

Voir aussi

Update on GitHub