Perencanaan berbasis nilai

🧪 Ini adalah pipeline eksperimental untuk reinforcement learning!

Pipeline ini didasarkan pada makalah Planning with Diffusion for Flexible Behavior Synthesis oleh Michael Janner, Yilun Du, Joshua B. Tenenbaum, Sergey Levine.

Abstrak dari makalah tersebut adalah:

Metode pembelajaran penguatan berbasis model sering kali hanya menggunakan pembelajaran untuk tujuan memperkirakan model dinamika yang mendekati, sambil menyerahkan sebagian besar pekerjaan pengambilan keputusan ke pengoptimal lintasan klasik. Meskipun secara konseptual sederhana, kombinasi ini memiliki sejumlah kekurangan empiris, yang menunjukkan bahwa model yang dipelajari mungkin tidak cocok untuk optimasi lintasan standar. Dalam makalah ini, kami mempertimbangkan bagaimana jika sebagian besar dari pipeline optimasi lintasan dimasukkan ke dalam masalah pemodelan, sehingga pengambilan sampel dari model dan perencanaan dengannya menjadi hampir identik. Inti dari pendekatan teknis kami terletak pada model probabilistik difusi yang merencanakan dengan cara mendenoising lintasan secara iteratif. Kami menunjukkan bagaimana pengambilan sampel yang dipandu klasifikator dan inpainting gambar dapat ditafsirkan ulang sebagai strategi perencanaan yang koheren, mengeksplorasi sifat-sifat yang tidak biasa dan berguna dari metode perencanaan berbasis difusi, serta mendemonstrasikan efektivitas kerangka kerja kami dalam pengaturan kontrol yang menekankan pengambilan keputusan jangka panjang dan fleksibilitas saat pengujian.

Anda dapat menemukan informasi tambahan tentang model di halaman proyek, kodebase asli, atau mencobanya di notebook demo.

Skrip untuk menjalankan model tersedia di sini.

Pastikan untuk melihat panduan Schedulers untuk mempelajari cara mengeksplorasi tradeoff antara kecepatan dan kualitas scheduler, serta lihat bagian reuse components across pipelines untuk mempelajari cara memuat komponen yang sama secara efisien ke dalam beberapa pipeline.

ValueGuidedRLPipeline