Hugging Face's logo

Diffusers documentation

ControlNetUnionModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ControlNetUnionModel

ControlNetUnionModel là một triển khai của ControlNet cho Stable Diffusion XL.

Mô hình ControlNet được giới thiệu trong ControlNetPlus bởi xinsir6. Nó hỗ trợ nhiều đầu vào điều kiện mà không làm tăng lượng tính toán.

Chúng tôi thiết kế một kiến trúc mới có thể hỗ trợ hơn 10 loại điều khiển trong tạo ảnh từ văn bản có điều kiện và có thể tạo ra các hình ảnh độ phân giải cao tương đương về mặt thị giác với midjourney. Mạng dựa trên kiến trúc ControlNet gốc, chúng tôi đề xuất hai module mới để: 1 Mở rộng ControlNet gốc để hỗ trợ các điều kiện ảnh khác nhau bằng cùng một tham số mạng. 2 Hỗ trợ đầu vào nhiều điều kiện mà không làm tăng chi phí tính toán, điều này đặc biệt quan trọng đối với các nhà thiết kế muốn chỉnh sửa ảnh chi tiết, các điều kiện khác nhau sử dụng cùng một bộ mã hóa điều kiện, không thêm tính toán hoặc tham số bổ sung.

Đang tải

Mặc định, ControlNetUnionModel nên được tải bằng from_pretrained().

from diffusers import StableDiffusionXLControlNetUnionPipeline, ControlNetUnionModel

controlnet = ControlNetUnionModel.from_pretrained("xinsir/controlnet-union-sdxl-1.0")
pipe = StableDiffusionXLControlNetUnionPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet)

ControlNetUnionModel

lớp diffusers.ControlNetUnionModel

< >

( in_channels: int = 4conditioning_channels: int = 3flip_sin_to_cos: bool = Truefreq_shift: int = 0down_block_types: tuple = ('CrossAttnDownBlock2D', 'CrossAttnDownBlock2D', 'CrossAttnDownBlock2D', 'DownBlock2D')only_cross_attention: bool | tuple[bool] = Falseblock_out_channels: tuple = (320, 640, 1280, 1280)layers_per_block: int = 2downsample_padding: int = 1mid_block_scale_factor: float = 1act_fn: str = 'silu'norm_num_groups: int | None = 32norm_eps: float = 1e-05cross_attention_dim: int = 1280transformer_layers_per_block: int | tuple[int, ...] = 1encoder_hid_dim: int | None = Noneencoder_hid_dim_type: str | None = Noneattention_head_dim: int | tuple[int, ...] = 8num_attention_heads: int | tuple[int, ...] | None = Noneuse_linear_projection: bool = Falseclass_embed_type: str | None = Noneaddition_embed_type: str | None = Noneaddition_time_embed_dim: int | None = Nonenum_class_embeds: int | None = Noneupcast_attention: bool = Falseresnet_time_scale_shift: str = 'default'projection_class_embeddings_input_dim: int | None = Nonecontrolnet_conditioning_channel_order: str = 'rgb'conditioning_embedding_out_channels: tuple[int, ...] | None = (48, 96, 192, 384)global_pool_conditions: bool = Falseaddition_embed_type_num_heads: int = 64num_control_type: int = 6num_trans_channel: int = 320num_trans_head: int = 8num_trans_layer: int = 1num_proj_channel: int = 320 )

Tham số

  • in_channels (int, mặc định là 4) — Số lượng kênh trong mẫu đầu vào.
  • flip_sin_to_cos (bool, mặc định là True) — Có nên đảo sin thành cos trong time embedding hay không.
  • freq_shift (int, mặc định là 0) — Lệch tần số cần áp dụng cho nhúng thời gian.
  • down_block_types (tuple[str], mặc định là ("CrossAttnDownBlock2D", "CrossAttnDownBlock2D", "CrossAttnDownBlock2D", "DownBlock2D")) — Bộ tuple các khối hạ mẫu (downsample) cần sử dụng.
  • only_cross_attention (bool | tuple[bool], mặc định là False) —
  • block_out_channels (tuple[int], mặc định là (320, 640, 1280, 1280)) — Bộ tuple các kênh đầu ra cho mỗi khối.
  • layers_per_block (int, mặc định là 2) — Số lượng lớp trong mỗi khối.
  • downsample_padding (int, mặc định là 1) — Độ đệm (padding) được sử dụng cho phép tích chập hạ mẫu (downsampling convolution).
  • mid_block_scale_factor (float, mặc định là 1) — Hệ số tỷ lệ sử dụng cho khối giữa.
  • act_fn (str, mặc định là “silu”) — Hàm kích hoạt cần sử dụng.
  • norm_num_groups (int, tùy chọn, mặc định là 32) — Số nhóm được sử dụng cho phép chuẩn hóa. Nếu là None, các lớp chuẩn hóa và kích hoạt sẽ bị bỏ qua trong xử lý hậu kỳ.
  • norm_eps (float, mặc định là 1e-5) — Giá trị epsilon sử dụng cho phép chuẩn hóa.
  • cross_attention_dim (int, mặc định là 1280) — Kích thước của các đặc trưng chú ý chéo (cross attention).
  • transformer_layers_per_block (int hoặc tuple[int], tùy chọn, mặc định là 1) — Số lượng khối transformer có kiểu BasicTransformerBlock. Chỉ liên quan đến ~models.unet_2d_blocks.CrossAttnDownBlock2D, ~models.unet_2d_blocks.CrossAttnUpBlock2D, ~models.unet_2d_blocks.UNetMidBlock2DCrossAttn.
  • encoder_hid_dim (int, tùy chọn, mặc định là None) — Nếu encoder_hid_dim_type được định nghĩa, encoder_hidden_states sẽ được chiếu từ chiều encoder_hid_dim sang cross_attention_dim.
  • encoder_hid_dim_type (str, tùy chọn, mặc định là None) — Nếu được cung cấp, encoder_hidden_states và các embedding khác (nếu có) sẽ được down-project xuống text embeddings có chiều cross_attention theo encoder_hid_dim_type.
  • attention_head_dim (int | tuple[int], mặc định là 8) — Kích thước của các đầu chú ý (attention heads).
  • use_linear_projection (bool, mặc định là False) —
  • class_embed_type (str, tùy chọn, mặc định là None) — Loại class embedding được sử dụng, cuối cùng sẽ được cộng với các time embeddings. Chọn từ None, "timestep", "identity", "projection" hoặc "simple_projection".
  • addition_embed_type (str, tùy chọn, mặc định là None) — Cấu hình một embedding tùy chọn sẽ được cộng với các time embeddings. Chọn từ None hoặc “text”. “text” sẽ sử dụng lớp TextTimeEmbedding.
  • num_class_embeds (int, tùy chọn, mặc định là 0) — Kích thước đầu vào của ma trận nhúng có thể học được để chiếu sang time_embed_dim, khi thực hiện điều kiện hóa theo lớp với class_embed_type bằng None.
  • upcast_attention (bool, mặc định là False) —
  • resnet_time_scale_shift (str, mặc định là "default") — Cấu hình dịch chuyển thang thời gian cho các khối ResNet (xem ResnetBlock2D). Chọn từ default hoặc scale_shift.
  • projection_class_embeddings_input_dim (int, tùy chọn, mặc định là None) — Kích thước của đầu vào class_labels khi class_embed_type="projection". Bắt buộc khi class_embed_type="projection".
  • controlnet_conditioning_channel_order (str, mặc định là "rgb") — Thứ tự kênh của ảnh điều kiện. Sẽ chuyển sang rgb nếu là bgr.
  • conditioning_embedding_out_channels (tuple[int], tùy chọn, mặc định là (48, 96, 192, 384)) — Bộ tuple số kênh đầu ra cho mỗi khối trong lớp conditioning_embedding.
  • global_pool_conditions (bool, mặc định là False) —

Một mô hình ControlNetUnion.

forward

< >

( sample: Tensortimestep: typing.Union[torch.Tensor, float, int]encoder_hidden_states: Tensorcontrolnet_cond: listcontrol_type: Tensorcontrol_type_idx: listconditioning_scale: float | list[float] = 1.0class_labels: typing.Optional[torch.Tensor] = Nonetimestep_cond: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneadded_cond_kwargs: dict[str, torch.Tensor] | None = Nonecross_attention_kwargs: dict[str, typing.Any] | None = Nonefrom_multi: bool = Falseguess_mode: bool = Falsereturn_dict: bool = True ) → ~models.controlnet.ControlNetOutput or tuple

Tham số

  • sample (torch.Tensor) — Tensor đầu vào có nhiễu.
  • timestep (torch.Tensor | float | int) — Số lượng bước thời gian để khử nhiễu một đầu vào.
  • encoder_hidden_states (torch.Tensor) — Trạng thái ẩn của bộ mã hóa.
  • controlnet_cond (list[torch.Tensor]) — Các tensor đầu vào có điều kiện.
  • control_type (torch.Tensor) — Một tensor có hình dạng (batch, num_control_type) với các giá trị 0 hoặc 1 tùy thuộc vào việc loại điều khiển có được sử dụng hay không.
  • control_type_idx (list[int]) — Các chỉ số của control_type.
  • conditioning_scale (float, mặc định là 1.0) — Hệ số tỷ lệ cho đầu ra của ControlNet.
  • class_labels (torch.Tensor, tùy chọn, mặc định là None) — Nhãn lớp tùy chọn để điều kiện. Các embedding của chúng sẽ được cộng với các embedding của bước thời gian (timestep).
  • timestep_cond (torch.Tensor, tùy chọn, mặc định là None) — Các embedding điều kiện bổ sung cho timestep. Nếu được cung cấp, các embedding này sẽ được cộng với timestep_embedding được truyền qua lớp self.time_embedding để thu được các embedding timestep cuối cùng.
  • attention_mask (torch.Tensor, tùy chọn, mặc định là None) — Một attention mask có shape (batch, key_tokens) được áp dụng cho encoder_hidden_states. Nếu là 1, mask được giữ lại, ngược lại nếu là 0, nó sẽ bị loại bỏ. Mask sẽ được chuyển đổi thành một bias, thêm các giá trị âm lớn vào các điểm chú ý tương ứng với các token “bị loại bỏ”.
  • added_cond_kwargs (dict) — Các điều kiện bổ sung cho UNet của Stable Diffusion XL.
  • cross_attention_kwargs (dict[str], tùy chọn, mặc định là None) — Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến AttnProcessor.
  • from_multi (bool, mặc định là False) — Sử dụng chuẩn hóa tiêu chuẩn khi được gọi từ MultiControlNetUnionModel.
  • guess_mode (bool, mặc định là False) — Ở chế độ này, bộ mã hóa ControlNet sẽ cố gắng hết sức để nhận diện nội dung đầu vào ngay cả khi bạn xóa tất cả các prompt. Khuyến nghị sử dụng guidance_scale trong khoảng từ 3.0 đến 5.0.
  • return_dict (bool, mặc định là True) — Có nên trả về một ~models.controlnet.ControlNetOutput thay vì một tuple thông thường hay không.

Trả về

~models.controlnet.ControlNetOutput hoặc tuple

Nếu return_dict là True, một ~models.controlnet.ControlNetOutput sẽ được trả về, ngược lại một tuple sẽ được trả về trong đó phần tử đầu tiên là tensor mẫu.

Phương thức forward của ControlNetUnionModel.

from_unet

< >

( unet: UNet2DConditionModelcontrolnet_conditioning_channel_order: str = 'rgb'conditioning_embedding_out_channels: tuple[int, ...] | None = (16, 32, 96, 256)load_weights_from_unet: bool = True )

Tham số

  • unet (UNet2DConditionModel) — Trọng số của mô hình UNet để sao chép sang ControlNetUnionModel. Tất cả các tùy chọn cấu hình cũng được sao chép khi phù hợp.

Tạo một ControlNetUnionModel từ UNet2DConditionModel.

set_attention_slice

< >

( slice_size: str | int | list[int] )

Tham số

  • slice_size (str hoặc int hoặc list(int), tùy chọn, mặc định là "auto") — Khi là "auto", đầu vào của các attention head được chia đôi, do đó attention được tính toán trong hai bước. Nếu là "max", lượng bộ nhớ được tiết kiệm tối đa bằng cách chỉ chạy một slice tại một thời điểm. Nếu cung cấp một số, số lượng slice được sử dụng bằng attention_head_dim // slice_size. Trong trường hợp này, attention_head_dim phải là bội số của slice_size.

Bật tính toán chú ý dạng lát cắt.

Khi tùy chọn này được bật, module attention sẽ chia tensor đầu vào thành các lát để tính toán attention qua nhiều bước. Điều này hữu ích để tiết kiệm một phần bộ nhớ, đổi lại là sự giảm tốc độ nhỏ.

set_default_attn_processor

< >

( )

Tắt các bộ xử lý chú ý tùy chỉnh và đặt cài đặt chú ý mặc định.

Update on GitHub

←ControlNetModel FluxControlNetModel→