Hugging Face's logo

Diffusers documentation

HunyuanVideoTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanVideoTransformer3DModel

تم تقديم نموذج تحويل انتشار (Diffusion Transformer) لبيانات تشبه الفيديو ثلاثي الأبعاد في HunyuanVideo: A Systematic Framework For Large Video Generative Models من شركة Tencent.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import HunyuanVideoTransformer3DModel

transformer = HunyuanVideoTransformer3DModel.from_pretrained("hunyuanvideo-community/HunyuanVideo", subfolder="transformer", dtype=torch.bfloat16)

HunyuanVideoTransformer3DModel

فئة diffusers.HunyuanVideoTransformer3DModel

< >

( in_channels: int = 16out_channels: int = 16num_attention_heads: int = 24attention_head_dim: int = 128num_layers: int = 20num_single_layers: int = 40num_refiner_layers: int = 2mlp_ratio: float = 4.0patch_size: int = 2patch_size_t: int = 1qk_norm: str = 'rms_norm'guidance_embeds: bool = Truetext_embed_dim: int = 4096pooled_projection_dim: int = 768rope_theta: float = 256.0rope_axes_dim: tuple = (16, 56, 56)image_condition_type: str | None = None )

المعاملات

  • in_channels (int)، القيمة الافتراضية 16 — عدد القنوات في المدخلات.
  • out_channels (int، القيمة الافتراضية 16) — عدد القنوات في المخرجات.
  • num_attention_heads (int، القيمة الافتراضية 24) — عدد الرؤوس المستخدمة في الانتباه متعدد الرؤوس.
  • attention_head_dim (int، القيمة الافتراضية 128) — عدد القنوات في كل رأس.
  • num_layers (int، القيمة الافتراضية 20) — عدد طبقات كتل التدفق المزدوج المستخدمة.
  • num_single_layers (int، القيمة الافتراضية 40) — عدد طبقات كتل التدفق الأحادي التي سيتم استخدامها.
  • num_refiner_layers (int، القيمة الافتراضية 2) — عدد طبقات كتل التصفية (refiner) المستخدمة.
  • mlp_ratio (float، القيمة الافتراضية 4.0) — نسبة حجم الطبقة المخفية إلى حجم الإدخال في الشبكة الأمامية.
  • patch_size (int، القيمة الافتراضية 2) — حجم البقع المكانية المستخدمة في طبقة تضمين البقع.
  • patch_size_t (int، القيمة الافتراضية 1) — حجم البقع الزمنية (temporal patches) المستخدمة في طبقة تضمين البقع (patch embedding layer).
  • qk_norm (str، القيمة الافتراضية rms_norm) — طريقة التطبيع المستخدمة لإسقاطات الاستعلام والمفتاح في طبقات الانتباه.
  • guidance_embeds (bool، القيمة الافتراضية True) — ما إذا كان سيتم استخدام تضمينات التوجيه في النموذج.
  • text_embed_dim (int، القيمة الافتراضية 4096) — البُعد المدخل لتضمينات النص من مُشفِّر النص.
  • pooled_projection_dim (int، القيمة الافتراضية 768) — البُعد الإسقاطي المجمّع لتضمينات النص.
  • rope_theta (float، القيمة الافتراضية 256.0) — قيمة ثيتا المستخدمة في طبقة RoPE.
  • rope_axes_dim (tuple[int]، القيمة الافتراضية (16, 56, 56)) — أبعاد المحاور المستخدمة في طبقة RoPE.
  • image_condition_type (str، اختياري، القيمة الافتراضية None) — نوع تكييف الصورة المستخدم. إذا كانت None، فلا يُستخدم تكييف الصورة. إذا كانت latent_concat، يتم دمج الصورة مع تدفق الكمون. إذا كانت token_replace، تُستخدم الصورة لاستبدال رموز الإطار الأول في تدفق الكمون وتطبيق التكييف.

نموذج Transformer لبيانات تشبه الفيديو يُستخدم في HunyuanVideo.

forward

< >

( hidden_states: Tensortimestep: LongTensorencoder_hidden_states: Tensorencoder_attention_mask: Tensorpooled_projections: Tensorguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

المعاملات

  • hidden_states (torch.Tensor من الشكل (batch_size, num_channels, num_frames, height, width)) — مدخلات hidden_states.
  • timestep (torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء.
  • encoder_hidden_states (torch.Tensor من الشكل (batch_size, sequence_len, embed_dims)) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام.
  • encoder_attention_mask (torch.Tensor) — قناع يُطبَّق على encoder_hidden_states أثناء الانتباه.
  • pooled_projections (torch.Tensor من الشكل (batch_size, projection_dim)) — تمثيلات مُسقطَة من تمثيلات شروط الإدخال.
  • guidance (torch.Tensor، اختياري) — تضمين مقياس التوجيه المستخدم في النسخ المُقطّرة بالتوجيه من النموذج.
  • attention_kwargs (dict، اختياري) — قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.

طريقة HunyuanVideoTransformer3DModel الأمامية.

Transformer2DModelOutput

فئة diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

المعاملات

  • sample (torch.Tensor من الشكل (batch_size, num_channels, height, width) أو (batch size, num_vector_embeds - 1, num_latent_pixels) إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخل encoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.

مخرجات Transformer2DModel.

Update on GitHub

←HunyuanVideo15Transformer3DModel Ideogram4Transformer2DModel→