LaWAM

lawam هو مُكيّف LeRobot الخاص بـ LaWAM، وهو نموذج عالمي كامن للأفعال (latent world action model) مصمم لسياسات روبوتية واعية بالديناميكيات. يجمع بين هيكل أساسي من Qwen3-VL، ونموذج عالمي/أفعال كامن، ورأس أفعال يعتمد على مطابقة التدفق (flow-matching)، مع توفير واجهات LeRobot القياسية للسياسات والتدريب والتقييم.

الموارد:

التثبيت

قم بتثبيت LeRobot مع الإضافة LaWAM:

pip install -e ".[lawam]"

قم بتثبيت تبعيات معيار LIBERO وتثبيت MuJoCo عند الإصدار 3.3.2 عند إعادة إنتاج تقييم LaWAM LIBERO المنشور:

pip install -e ".[lawam,libero]" "mujoco==3.3.2"

تُعدّ معدلات النجاح في معيار LIBERO حسّاسةً لإصدار محاكي MuJoCo. يمكن لإصدارات MuJoCo الأحدث أن تُقلّل بشكل ملموس من معدلات نجاح LIBERO المقاسة، بما في ذلك ذلك بالنسبة لسياسات تتجاوز LaWAM. هذه مشكلة توافق في بيئة التقييم وليست مشكلة في مُكيّف LaWAM. استخدم mujoco==3.3.2 لإعادة إنتاج نتائج LaWAM في LIBERO والنتائج المنشورة في الورقة البحثية بدقة.

تستخدم نقاط التفتيش الخاصة بـ LaWAM الصيغة الأصلية model.safetensors الخاصة بـ LeRobot. يتم استعادة حالة LAM الكاملة، ومحوّل VLM، ورأس التدفق (flow-head) من خلال policy.path؛ ولا يتم تحميل ملفات .pt الأصلية الخاصة بـ LaWAM بواسطة المحوّل. يتم تمثيل معماريتي LAM وDINOv3 مباشرةً بواسطة LaWAMConfig ولا تتطلب تنزيل نقاط تفتيش منفصلة.

حافظ على ضبط policy.base_vlm على معرّف النموذج المحمول في Hub. تتحكم إعدادات التخزين المؤقت القياسية الخاصة بـ Hugging Face، مثل HF_HOME، في مكان تخزين ملفات Qwen محليًا دون إضافة مسارات خاصة بالجهاز إلى إعدادات السياسة أو المعالج.

الضبط الدقيق

قم بضبط النموذج الدقيق انطلاقًا من سياسة LaWAM المُدرَّبة مسبقًا الأصلية:

lerobot-train \
  --policy.path=jialei02/lawam-pretrain-lerobot \
  --dataset.repo_id=jialei02/libero_merged_no_noops_20hz \
  --dataset.image_transforms.enable=false \
  --rename_map='{"observation.images.wrist_image":"observation.images.image2"}' \
  --policy.action_horizon=8 \
  --policy.n_action_steps=8 \
  --policy.clip_normalized_actions=true \
  --policy.pre_snap_gripper_action=true \
  --policy.binarize_gripper_action=true \
  --policy.repo_id=your_org/lawam_sft

يستخدم المُكيّف إحصاءات مجموعة بيانات LeRobot لتطبيع الإجراءات والحالة قبل بناء دفعات تدريب LaWAM. تستخدم إجراءات الوضعية تطبيع الحد الأدنى والحد الأقصى، بينما وصفة LIBERO تُطبّق صراحةً قناة الماسك على قيم ثنائية 0/1 لتتوافق مع عقد تدريب LaWAM الأصلية. وهذا يُخضع كل من اتفاقيات مجموعات البيانات -1/+1 و0/1 لأهداف النموذج نفسها. يحتفظ نقطة الفحص المُسبقة التدريب بقيم ما قبل التدريب action_horizon=24 وn_action_steps=24؛ بينما تُعيد وصفة SFT الخاصة بـ LIBERO تعيين كلاهما إلى 8 مع الحفاظ على chunk_size=50 كطول تسلسل Flow المُملوء. يستخدم التدريب معدل الإطارات في الثانية (FPS) الحالي لمجموعة بيانات LaWAM لتشفير الوقت الطبيعي، ويحافظ المُعالج على تلك التكرارية كبديل للتقييم. يتحكم policy.num_video_frames في نافذة إطارات الملاحظة.

لا تستخدم وصفات ما قبل التدريب LaWAM وSFT الخاصة بـ LIBERO المُطلَقة أي زيادة عشوائية للصور. يطبّق معالج السياسة فقط إعادة الحجم الحتمية والتطبيع الخاص بـ ImageNet التي تتطلبها العمودان الفقريان Qwen وLAM. وتبقى تحويلات الصور على مستوى مجموعة البيانات في LeRobot متاحة لوصفات تدريب مصممة بشكل منفصل.

تستخدم نقاط التفتيش LaWAM المُطلقة مساحة فعل/حالة مبطنة بأبعاد 32 داخليًا. حافظ على policy.flow_action_dim=32 وpolicy.flow_state_dim=32 ما لم تكن قد دربت نقطة تفتيش بأبعاد تدفق مختلفة.

التقييم

قيّم نقطة الفحص SFT الأصلية لـ LIBERO من خلال المُقيِّم القياسي:

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --env.type=libero \
  --env.task=libero_object \
  --eval.n_episodes=10

تتضمن مستودع Hub إعدادات السياسة وخطوط أنابيب المعالجة المسبقة والمعالجة اللاحقة الكاملة، بما في ذلك متجهات التطبيع ومعالجة ملقط LIBERO.

لتنفيذ اختبار LIBERO قابل للتكرار باستخدام نقطة الفحص SFT الخاصة بـ LIBERO التي تم إصدارها، قيّم جميع الحزم ومعرفات المهام في استدعاء واحد:

lerobot-eval \
  --policy.path=jialei02/lawam-libero-sft-lerobot \
  --policy.device=cuda \
  --env.type=libero \
  --env.task=libero_spatial,libero_object,libero_goal,libero_10 \
  --env.task_ids='[0,1,2,3,4,5,6,7,8,9]' \
  --eval.n_episodes=50 \
  --output_dir=outputs/lawam_libero

أبلغ عن معدلات النجاح عبر جميع المهام العشر في كل مجموعة. استخدم ما لا يقل عن 50 حلقة لكل مهمة عند الإبلاغ عن أرقام المعايير.

نتائج مرجعية لنقطة التفتيش SFT المُطلقة من LIBERO مع 50 حلقة لكل مهمة. تم إنتاج هذه الأرقام باستخدام MuJoCo 3.3.2. كتدقيق للبيئة، تحسنت المهمة 5 في libero_spatial من 18/50 نجاحات باستخدام MuJoCo 3.8.1 إلى 47/50 نجاحات باستخدام MuJoCo 3.3.2.

اختيار الكاميرا

تخزّن نقاط التفتيش (checkpoints) الخاصة بـ LaWAM أدوار كاميرا الجسم الرئيسي وكاميرا المعصم بشكل صريح بدلاً من استنتاج الدلالات من أسماء مثل image2. عند بناء سياسة LaWAM متعددة الكاميرات جديدة، قم بإعداد كلا الدورين:

--policy.primary_image_features='["observation.images.front"]' \
--policy.wrist_image_features='["observation.images.wrist"]'

policy.lam_image_feature يختار الكاميرا الأساسية التي تُستهلك إطاراتها الزمنية بواسطة نموذج الإجراء الكامن. افتراضيًا، تكون الكاميرا الأساسية الأولى المُهيأة، وتُكتب صراحةً عند حفظ إعدادات السياسة.

حقول وقت التشغيل

حقول السياسة الخاصة بـ LaWAM الشائعة:

الاستشهاد

@misc{chen2026lawam,
  title = {LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies},
  author = {Chen, Jialei and Wang, Kai and Chen, Kang and Chen, Shuaihang and Gao, Feng and Tang, Wenhao and Li, Zhiyuan and Liu, Weilin and Yao, Zhuyu and Li, Boxun and Xu, Yuanbo and Yu, Chao},
  journal = {arXiv preprint arXiv:2606.15768},
  year = {2026},
  archiveprefix = {arXiv},
  primaryclass = {cs.RO},
}