Diffusers documentation
Planificación guiada por valor
Planificación guiada por valor
🧪 ¡Este es un pipeline experimental para el aprendizaje por refuerzo!
Este pipeline se basa en el artículo Planning with Diffusion for Flexible Behavior Synthesis de Michael Janner, Yilun Du, Joshua B. Tenenbaum y Sergey Levine.
El resumen del artículo es:
Los métodos de aprendizaje por refuerzo basados en modelos suelen utilizar el aprendizaje únicamente con el fin de estimar un modelo de dinámica aproximado, delegando el resto del trabajo de toma de decisiones en optimizadores de trayectorias clásicos. Aunque conceptualmente simple, esta combinación presenta varias deficiencias empíricas, lo que sugiere que los modelos aprendidos pueden no ser adecuados para la optimización estándar de trayectorias. En este artículo, consideramos cómo sería integrar en el problema de modelado la mayor parte posible del pipeline de optimización de trayectorias, de modo que muestrear del modelo y planificar con él sean casi idénticos. El núcleo de nuestro enfoque técnico reside en un modelo probabilístico de difusión que planifica mediante la desruidado iterativo de trayectorias. Mostramos cómo el muestreo guiado por clasificadores y el inpainting de imágenes pueden reinterpretarse como estrategias de planificación coherentes, exploramos las propiedades inusuales y útiles de los métodos de planificación basados en difusión y demostramos la efectividad de nuestro marco en entornos de control que enfatizan la toma de decisiones a largo plazo y la flexibilidad en tiempo de ejecución.
Puedes encontrar información adicional sobre el modelo en la página del proyecto, el código original o probarlo en un cuaderno de demostración.
El script para ejecutar el modelo está disponible aquí.
Asegúrate de consultar la guía de Schedulers para aprender a explorar el equilibrio entre la velocidad y la calidad del scheduler, y consulta la sección reutilizar componentes entre pipelines para aprender a cargar eficientemente los mismos componentes en múltiples pipelines.
ValueGuidedRLPipeline
clase diffusers.experimental.ValueGuidedRLPipeline
< source >( value_function: UNet1DModelunet: UNet1DModelscheduler: DDPMSchedulerenv )
Parámetros
- value_function (UNet1DModel) — Un UNet especializado para el ajuste fino de trayectorias basado en la recompensa.
- unet (UNet1DModel) — Arquitectura UNet para desruidar las trayectorias codificadas.
- scheduler (SchedulerMixin) —
Un scheduler para usar en combinación con
unetpara desruidar las trayectorias codificadas. El valor predeterminado para esta aplicación es DDPMScheduler. - env () — Un entorno que sigue la API de OpenAI gym en el que actuar. Por ahora, solo Hopper tiene modelos preentrenados.
Pipeline para muestreo guiado por valores desde un modelo de difusión entrenado para predecir secuencias de estados.
Este modelo hereda de DiffusionPipeline. Consulta la documentación de la clase superior para los métodos genéricos implementados en todas las tuberías (descarga, guardado, ejecución en un dispositivo específico, etc.).