Планирование на основе ценности

🧪 Это экспериментальный конвейер для обучения с подкреплением!

This pipeline is based on the Planning with Diffusion for Flexible Behavior Synthesis paper by Michael Janner, Yilun Du, Joshua B. Tenenbaum, Sergey Levine.

Аннотация из статьи:

Методы обучения с подкреплением на основе моделей часто используют обучение исключительно для оценки приближённой модели динамики, перекладывая остальную работу по принятию решений на классические оптимизаторы траекторий. Несмотря на концептуальную простоту, эта комбинация имеет ряд эмпирических недостатков, что указывает на возможную несовместимость обученных моделей со стандартной оптимизацией траекторий. В данной статье мы рассматриваем, как выглядело бы включение как можно большей части конвейера оптимизации траекторий в задачу моделирования, чтобы выборка из модели и планирование с её использованием стали практически идентичными. Ядро нашего технического подхода заключается в диффузионной вероятностной модели, которая планирует, итеративно удаляя шум из траекторий. Мы показываем, как выборка с наведением классификатора и инпейнтинг изображений можно переосмыслить как согласованные стратегии планирования, исследуем необычные и полезные свойства методов планирования на основе диффузии и демонстрируем эффективность нашего фреймворка в задачах управления, где акцент делается на принятии решений с длинным горизонтом и гибкости на этапе тестирования.

Дополнительную информацию о модели можно найти на странице проекта, в исходном коде или попробовать в демо-ноутбуке.

Скрипт для запуска модели доступен здесь.

Обязательно ознакомьтесь с руководством по планировщикам, чтобы узнать, как исследовать баланс между скоростью и качеством планировщика, а также с разделом повторное использование компонентов в разных конвейерах, чтобы узнать, как эффективно загружать одни и те же компоненты в несколько конвейеров.

ValueGuidedRLPipeline