Hugging Face's logo

Diffusers documentation

Mô hình Transformer SD3

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mô hình Transformer SD3

Mô hình Transformer được giới thiệu trong Stable Diffusion 3. Điểm mới của nó nằm ở khối transformer MMDiT.

SD3Transformer2DModel

lớp diffusers.SD3Transformer2DModel

< >

( sample_size: int = 128patch_size: int = 2in_channels: int = 16num_layers: int = 18attention_head_dim: int = 64num_attention_heads: int = 18joint_attention_dim: int = 4096caption_projection_dim: int = 1152pooled_projection_dim: int = 2048out_channels: int = 16pos_embed_max_size: int = 96dual_attention_layers: tuple = ()qk_norm: str | None = None )

Tham số

  • sample_size (int, mặc định là 128) — Chiều rộng/chiều cao của các latents. Giá trị này được cố định trong quá trình huấn luyện vì nó được dùng để học một số lượng các position embeddings.
  • patch_size (int, mặc định là 2) — Kích thước patch để chuyển dữ liệu đầu vào thành các patch nhỏ.
  • in_channels (int, mặc định là 16) — Số lượng kênh tiềm ẩn trong đầu vào.
  • num_layers (int, mặc định là 18) — Số lượng lớp của các khối transformer cần sử dụng.
  • attention_head_dim (int, mặc định là 64) — Số lượng kênh trong mỗi head.
  • num_attention_heads (int, mặc định là 18) — Số lượng đầu (heads) được sử dụng cho cơ chế chú ý đa đầu (multi-head attention).
  • joint_attention_dim (int, mặc định là 4096) — Kích thước embedding để sử dụng cho chú ý kết hợp văn bản-hình ảnh.
  • caption_projection_dim (int, mặc định là 1152) — Kích thước embedding của các embedding caption.
  • pooled_projection_dim (int, mặc định là 2048) — Kích thước embedding của các phép chiếu văn bản đã gộp (pooled).
  • out_channels (int, mặc định là 16) — Số lượng kênh tiềm ẩn trong đầu ra.
  • pos_embed_max_size (int, mặc định là 96) — Chiều cao/chiều rộng tiềm ẩn tối đa của nhúng vị trí.
  • dual_attention_layers (tuple[int, ...], mặc định là ()) — Số lượng khối transformer luồng kép (dual-stream) cần sử dụng.
  • qk_norm (str, tùy chọn, mặc định là None) — Phương pháp chuẩn hóa được sử dụng cho query và key trong lớp attention. Nếu là None, sẽ không sử dụng chuẩn hóa.

Mô hình Transformer được giới thiệu trong Stable Diffusion 3.

enable_forward_chunking

< >

( chunk_size: int | None = Nonedim: int = 0 )

Tham số

  • chunk_size (int, tùy chọn) — Kích thước chunk của các lớp feed-forward. Nếu không được chỉ định, lớp feed-forward sẽ được chạy riêng lẻ trên mỗi tensor có dim=dim.
  • dim (int, tùy chọn, mặc định là 0) — Chiều mà phép tính feed-forward nên được chia nhỏ. Chọn giữa dim=0 (batch) hoặc dim=1 (chiều dài chuỗi).

Đặt bộ xử lý chú ý để sử dụng chia nhỏ feed forward.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonepooled_projections: Tensor = Nonetimestep: LongTensor = Noneblock_controlnet_hidden_states: list = Nonejoint_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Trueskip_layers: list[int] | None = None )

Tham số

  • hidden_states (torch.Tensor có hình dạng (batch size, channel, height, width)) — hidden_states đầu vào.
  • encoder_hidden_states (torch.Tensor có hình dạng (batch size, sequence_len, embed_dims)) — Các embedding điều kiện (các embedding được tính toán từ các điều kiện đầu vào như prompts) cần sử dụng.
  • pooled_projections (torch.Tensor có hình dạng (batch_size, projection_dim)) — Các embedding được chiếu từ các embedding của điều kiện đầu vào.
  • timestep (torch.LongTensor) — Dùng để chỉ bước khử nhiễu.
  • block_controlnet_hidden_states (list of torch.Tensor) — Một danh sách các tensor, nếu được chỉ định, sẽ được cộng vào phần dư (residuals) của các khối transformer.
  • joint_attention_kwargs (dict, tùy chọn) — Một từ điển kwargs, nếu được chỉ định, sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.
  • skip_layers (list của int, tùy chọn) — Danh sách các chỉ số lớp cần bỏ qua trong quá trình truyền thẳng.

Phương thức forward của SD3Transformer2DModel.

fuse_qkv_projections

< >

( )

Bật các phép chiếu QKV đã hợp nhất. Đối với các module tự chú ý, tất cả các ma trận chiếu (tức là truy vấn, khóa, giá trị) đều được hợp nhất. Đối với các module chú ý chéo, các ma trận chiếu khóa và giá trị được hợp nhất.

> API này 🧪 mang tính thử nghiệm.

unfuse_qkv_projections

< >

( )

Tắt dự phóng QKV hợp nhất nếu đã được bật.

> API này 🧪 mang tính thử nghiệm.

Update on GitHub

←SanaWMTransformer3DModel SkyReelsV2Transformer3DModel→