Diffusers documentation
KandinskyS2VTransformer3DModel
KandinskyS2VTransformer3DModel
نموذج التحوّل الانتشاري (DiT) الخاص بكاندنسكي S2V 1.0، مشروط بإطار مرجعي ومسار صوتي.
KandinskyS2VTransformer3DModel
فئة diffusers.KandinskyS2VTransformer3DModel
< source >( in_visual_dim: int = 16out_visual_dim: int = 16in_text_dim: int = 3584in_text_dim2: int = 768in_audio_dim: int = 3584time_dim: int = 512patch_size: tuple[int, int, int] = (1, 2, 2)frame_buckets: tuple[int, int, int] = (2, 4, 24)enable_framepack: bool = Trueindex_rope_ref_image: int = 40patch_proj1x_coef: tuple[int, int, int] = (1, 1, 1)patch_proj2x_coef: tuple[int, int, int] = (2, 2, 2)patch_proj4x_coef: tuple[int, int, int] = (4, 4, 4)model_dim: int = 1792ff_dim: int = 7168num_text_blocks: int = 2num_audio_blocks: int = 2num_visual_blocks: int = 32axes_dims: tuple[int, int, int] = (16, 24, 24)audio_inject_layers: tuple[int, ...] = ()text_rope_max_pos: int = 4096 )
محوّل انتشار (Diffusion Transformer) لتحويل الكلام إلى فيديو.
تتطابق أسماء المعاملات مع نقاط الفحص التدريبية، لذا يتم تحميل .safetensors المحوّل دون الحاجة إلى إعادة تعيين المفاتيح. الاستدلال يتم بحجم دفعة يساوي 1: حيث تُحزم التسلسلات ويكون الانتباه المتقاطع للكلام محاذاً للإطارات، لذا يقبل forward محور دفعة رئيسي قيمته 1 ثم يضغطه.
تدفق الصور عبارة عن تسلسل واحد مكتمل [memory | ref | visual]:
memory— سياق FramePack من المقطع السابق عند 4x / 2x / 1x من التخفيض الزمني، ويُوضع في مواضع RoPE الزمنية السالبة؛ref— إطار المرجع، المثبّت على فهرس RoPE الزمنيindex_rope_ref_image؛visual— الكامن الضوضائي الذي يتم تخليصه من الضوضاء.
memory وref نظيفة، لذا يتم تعديلها باستخدام t = 0 بينما يستخدم visual خطوة الزمن الفعلية؛ ويحتوي التعديل على صفّين، ويختار فهرس لكل رمز.
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensoraudio_hidden_states: Tensorreference_hidden_states: Tensormemory_hidden_states: tuple[Tensor, Tensor, Tensor]timestep: Tensorpooled_projections: Tensorvisual_rope_pos: list[Tensor]reference_rope_pos: list[Tensor]memory_rope_pos: tuple[list[Tensor], list[Tensor], list[Tensor]]text_rope_pos: Tensoraudio_rope_pos: Tensorscale_factor: tuple[float, float, float] = (1.0, 1.0, 1.0)return_dict: bool = True ) → [~models.modeling_outputs.Transformer2DModelOutput] or tuple
المعاملات
- hidden_states — الحالة الكامنة الضجيجية،
(1, T, H, W, C). - encoder_hidden_states — تمثيلات النص،
(1, S_text, in_text_dim). - audio_hidden_states — ميزات الكلام،
(1, S_audio, in_audio_dim). - reference_hidden_states — إطار مرجعي كامن،
(1, 1, H, W, C). - memory_hidden_states — ذاكرة FramePack عند 4x / 2x / 1x، كل منها
(1, T_i, H_i, W_i, C). - timestep — الخطوة الزمنية الحالية،
(1,). - pooled_projections — تمثيل نصي مجمّع لـ CLIP،
(1, in_text_dim2). - visual_rope_pos — مواضع RoPE لكل محور للكامن الضوضائي.
- reference_rope_pos — مواضع RoPE لكل محور في الإطار المرجعي.
- memory_rope_pos — مواضع RoPE لكل محور لكل مقياس ذاكرة في FramePack.
- text_rope_pos — مواضع RoPE أحادية البعد لرموز النص.
- audio_rope_pos — إطار الكامنة الذي ينتمي إليه كل رمز كلامي.
- scale_factor — معامل توسيع RoPE لكل محور، يُحدَّد بواسطة دلو الدقة.
- return_dict — إرجاع
Transformer2DModelOutputبدلاً من tuple.
يعيد
[~models.modeling_outputs.Transformer2DModelOutput] أو tuple
السرعة المتوقعة، على شكل
hidden_states.
إزالة الضوضاء من مقطع واحد.
يجب أن يكون حجم الدفعة 1: يتم حزم التسلسل، ويكون الانتباه المتقاطع للكلام محاذاةً على مستوى الإطار.