Diffusers documentation
ControlNetModel
ControlNetModel
Mô hình ControlNet được giới thiệu trong Adding Conditional Control to Text-to-Image Diffusion Models bởi Lvmin Zhang, Anyi Rao, Maneesh Agrawala. Nó cung cấp mức độ kiểm soát cao hơn đối với việc tạo ảnh từ văn bản bằng cách điều kiện hóa mô hình dựa trên các đầu vào bổ sung như bản đồ cạnh, bản đồ độ sâu, bản đồ phân đoạn và các điểm chính cho phát hiện tư thế.
Tóm tắt từ bài báo là:
Chúng tôi giới thiệu ControlNet, một kiến trúc mạng nơ-ron để thêm các điều khiển điều kiện không gian vào các mô hình khuếch tán từ văn bản sang ảnh lớn, được huấn luyện trước. ControlNet khóa các mô hình khuếch tán lớn sẵn sàng cho sản xuất, và tái sử dụng các lớp mã hóa sâu và mạnh mẽ của chúng, được huấn luyện trước với hàng tỷ hình ảnh, làm một khung xương mạnh mẽ để học một tập hợp đa dạng các điều khiển có điều kiện. Kiến trúc mạng nơ-ron được kết nối bằng các “cuộn không” (các lớp tích chập khởi tạo bằng không) giúp tăng dần các tham số từ không và đảm bảo rằng không có nhiễu có hại nào có thể ảnh hưởng đến việc tinh chỉnh. Chúng tôi kiểm tra các điều khiển điều kiện khác nhau, ví dụ như cạnh, độ sâu, phân đoạn, tư thế con người, v.v., với Stable Diffusion, sử dụng một hoặc nhiều điều kiện, có hoặc không có lời nhắc. Chúng tôi cho thấy rằng việc huấn luyện ControlNet là mạnh mẽ với các bộ dữ liệu nhỏ (<50k) và lớn (>1m). Các kết quả mở rộng cho thấy ControlNet có thể thúc đẩy các ứng dụng rộng hơn để kiểm soát các mô hình khuếch tán ảnh.
Tải từ định dạng gốc
Mặc định, ControlNetModel nên được nạp bằng from_pretrained(), nhưng nó cũng có thể được nạp từ định dạng gốc bằng cách sử dụng FromOriginalModelMixin.from_single_file như sau:
from diffusers import StableDiffusionControlNetPipeline, ControlNetModel
url = "https://huggingface.co/lllyasviel/ControlNet-v1-1/blob/main/control_v11p_sd15_canny.pth" # can also be a local path
controlnet = ControlNetModel.from_single_file(url)
url = "https://huggingface.co/stable-diffusion-v1-5/stable-diffusion-v1-5/blob/main/v1-5-pruned.safetensors" # can also be a local path
pipe = StableDiffusionControlNetPipeline.from_single_file(url, controlnet=controlnet)Tải từ Control LoRA
Control-LoRA được Stability AI giới thiệu trong stabilityai/control-lora bằng cách thêm fine-tuning tham số hiệu quả bậc thấp (low-rank) vào ControlNet. Phương pháp này cung cấp một cách tiếp cận hiệu quả và gọn nhẹ hơn để mang lại khả năng kiểm soát mô hình cho nhiều loại GPU tiêu dùng hơn.
from diffusers import ControlNetModel, UNet2DConditionModel
lora_id = "stabilityai/control-lora"
lora_filename = "control-LoRAs-rank128/control-lora-canny-rank128.safetensors"
unet = UNet2DConditionModel.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", subfolder="unet", dtype=torch.bfloat16).to("cuda") # or "mps", "xpu", "cpu"
controlnet = ControlNetModel.from_unet(unet).to(device="cuda", dtype=torch.bfloat16)
controlnet.load_lora_adapter(lora_id, weight_name=lora_filename, prefix=None, controlnet_config=controlnet.config)ControlNetModel
lớp diffusers.ControlNetModel
< source >( in_channels: int = 4conditioning_channels: int = 3flip_sin_to_cos: bool = Truefreq_shift: int = 0down_block_types: tuple = ('CrossAttnDownBlock2D', 'CrossAttnDownBlock2D', 'CrossAttnDownBlock2D', 'DownBlock2D')mid_block_type: str | None = 'UNetMidBlock2DCrossAttn'only_cross_attention: bool | tuple[bool] = Falseblock_out_channels: tuple = (320, 640, 1280, 1280)layers_per_block: int = 2downsample_padding: int = 1mid_block_scale_factor: float = 1act_fn: str = 'silu'norm_num_groups: int | None = 32norm_eps: float = 1e-05cross_attention_dim: int = 1280transformer_layers_per_block: int | tuple[int, ...] = 1encoder_hid_dim: int | None = Noneencoder_hid_dim_type: str | None = Noneattention_head_dim: int | tuple[int, ...] = 8num_attention_heads: int | tuple[int, ...] | None = Noneuse_linear_projection: bool = Falseclass_embed_type: str | None = Noneaddition_embed_type: str | None = Noneaddition_time_embed_dim: int | None = Nonenum_class_embeds: int | None = Noneupcast_attention: bool = Falseresnet_time_scale_shift: str = 'default'projection_class_embeddings_input_dim: int | None = Nonecontrolnet_conditioning_channel_order: str = 'rgb'conditioning_embedding_out_channels: tuple[int, ...] | None = (16, 32, 96, 256)global_pool_conditions: bool = Falseaddition_embed_type_num_heads: int = 64 )
Tham số
- in_channels (
int, mặc định là 4) — Số lượng kênh trong mẫu đầu vào. - flip_sin_to_cos (
bool, mặc định làTrue) — Có nên đảo sin thành cos trong time embedding hay không. - freq_shift (
int, mặc định là 0) — Lệch tần số cần áp dụng cho nhúng thời gian. - down_block_types (
tuple[str], mặc định là("CrossAttnDownBlock2D", "CrossAttnDownBlock2D", "CrossAttnDownBlock2D", "DownBlock2D")) — Bộ tuple các khối hạ mẫu (downsample) cần sử dụng. - only_cross_attention (
bool | tuple[bool], mặc định làFalse) — - block_out_channels (
tuple[int], mặc định là(320, 640, 1280, 1280)) — Bộ tuple các kênh đầu ra cho mỗi khối. - layers_per_block (
int, mặc định là 2) — Số lượng lớp trong mỗi khối. - downsample_padding (
int, mặc định là 1) — Độ đệm (padding) được sử dụng cho phép tích chập hạ mẫu (downsampling convolution). - mid_block_scale_factor (
float, mặc định là 1) — Hệ số tỷ lệ sử dụng cho khối giữa. - act_fn (
str, mặc định là “silu”) — Hàm kích hoạt cần sử dụng. - norm_num_groups (
int, tùy chọn, mặc định là 32) — Số nhóm được sử dụng cho phép chuẩn hóa. Nếu là None, các lớp chuẩn hóa và kích hoạt sẽ bị bỏ qua trong xử lý hậu kỳ. - norm_eps (
float, mặc định là 1e-5) — Giá trị epsilon sử dụng cho phép chuẩn hóa. - cross_attention_dim (
int, mặc định là 1280) — Kích thước của các đặc trưng chú ý chéo (cross attention). - transformer_layers_per_block (
inthoặctuple[int], tùy chọn, mặc định là 1) — Số lượng khối transformer có kiểuBasicTransformerBlock. Chỉ liên quan đến~models.unet_2d_blocks.CrossAttnDownBlock2D,~models.unet_2d_blocks.CrossAttnUpBlock2D,~models.unet_2d_blocks.UNetMidBlock2DCrossAttn. - encoder_hid_dim (
int, tùy chọn, mặc định là None) — Nếuencoder_hid_dim_typeđược định nghĩa,encoder_hidden_statessẽ được chiếu từ chiềuencoder_hid_dimsangcross_attention_dim. - encoder_hid_dim_type (
str, tùy chọn, mặc định làNone) — Nếu được cung cấp,encoder_hidden_statesvà các embedding khác (nếu có) sẽ được down-project xuống text embeddings có chiềucross_attentiontheoencoder_hid_dim_type. - attention_head_dim (
int | tuple[int], mặc định là 8) — Kích thước của các đầu chú ý (attention heads). - use_linear_projection (
bool, mặc định làFalse) — - class_embed_type (
str, tùy chọn, mặc định làNone) — Loại class embedding được sử dụng, cuối cùng sẽ được cộng với các time embeddings. Chọn từ None,"timestep","identity","projection"hoặc"simple_projection". - addition_embed_type (
str, tùy chọn, mặc định làNone) — Cấu hình một embedding tùy chọn sẽ được cộng với các time embeddings. Chọn từNonehoặc “text”. “text” sẽ sử dụng lớpTextTimeEmbedding. - num_class_embeds (
int, tùy chọn, mặc định là 0) — Kích thước đầu vào của ma trận nhúng có thể học được để chiếu sangtime_embed_dim, khi thực hiện điều kiện hóa theo lớp vớiclass_embed_typebằngNone. - upcast_attention (
bool, mặc định làFalse) — - resnet_time_scale_shift (
str, mặc định là"default") — Cấu hình dịch chuyển thang thời gian cho các khối ResNet (xemResnetBlock2D). Chọn từdefaulthoặcscale_shift. - projection_class_embeddings_input_dim (
int, tùy chọn, mặc định làNone) — Kích thước của đầu vàoclass_labelskhiclass_embed_type="projection". Bắt buộc khiclass_embed_type="projection". - controlnet_conditioning_channel_order (
str, mặc định là"rgb") — Thứ tự kênh của ảnh điều kiện. Sẽ chuyển sangrgbnếu làbgr. - conditioning_embedding_out_channels (
tuple[int], tùy chọn, mặc định là(16, 32, 96, 256)) — Bộ tuple số kênh đầu ra cho mỗi khối trong lớpconditioning_embedding. - global_pool_conditions (
bool, mặc định làFalse) — TODO(Patrick) - tham số không được sử dụng. - addition_embed_type_num_heads (
int, mặc định là 64) — Số lượng heads sử dụng cho lớpTextTimeEmbedding.
Một mô hình ControlNet.
forward
< source >( sample: Tensortimestep: typing.Union[torch.Tensor, float, int]encoder_hidden_states: Tensorcontrolnet_cond: Tensorconditioning_scale: float = 1.0class_labels: typing.Optional[torch.Tensor] = Nonetimestep_cond: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneadded_cond_kwargs: dict[str, torch.Tensor] | None = Nonecross_attention_kwargs: dict[str, typing.Any] | None = Noneguess_mode: bool = Falsereturn_dict: bool = True ) → ControlNetOutput or tuple
Tham số
- sample (
torch.Tensor) — Tensor đầu vào có nhiễu. - timestep (
torch.Tensor | float | int) — Số lượng bước thời gian để khử nhiễu một đầu vào. - encoder_hidden_states (
torch.Tensor) — Trạng thái ẩn của bộ mã hóa. - controlnet_cond (
torch.Tensor) — Tensor đầu vào có điều kiện với hình dạng(batch_size, sequence_length, hidden_size). - conditioning_scale (
float, mặc định là1.0) — Hệ số tỷ lệ cho đầu ra của ControlNet. - class_labels (
torch.Tensor, tùy chọn, mặc định làNone) — Nhãn lớp tùy chọn để điều kiện. Các embedding của chúng sẽ được cộng với các embedding của bước thời gian (timestep). - timestep_cond (
torch.Tensor, tùy chọn, mặc định làNone) — Các embedding điều kiện bổ sung cho timestep. Nếu được cung cấp, các embedding này sẽ được cộng với timestep_embedding được truyền qua lớpself.time_embeddingđể thu được các embedding timestep cuối cùng. - attention_mask (
torch.Tensor, tùy chọn, mặc định làNone) — Một attention mask có shape(batch, key_tokens)được áp dụng choencoder_hidden_states. Nếu là1, mask được giữ lại, ngược lại nếu là0, nó sẽ bị loại bỏ. Mask sẽ được chuyển đổi thành một bias, thêm các giá trị âm lớn vào các điểm chú ý tương ứng với các token “bị loại bỏ”. - added_cond_kwargs (
dict) — Các điều kiện bổ sung cho UNet của Stable Diffusion XL. - cross_attention_kwargs (
dict[str], tùy chọn, mặc định làNone) — Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đếnAttnProcessor. - guess_mode (
bool, mặc định làFalse) — Ở chế độ này, bộ mã hóa ControlNet sẽ cố gắng hết sức để nhận diện nội dung đầu vào ngay cả khi bạn xóa tất cả các prompt. Khuyến nghị sử dụngguidance_scaletrong khoảng từ 3.0 đến 5.0. - return_dict (
bool, mặc định làTrue) — Có nên trả về một ControlNetOutput thay vì một tuple thông thường hay không.
Trả về
ControlNetOutput hoặc tuple
Nếu return_dict là True, một ControlNetOutput sẽ được trả về,
ngoài ra một tuple sẽ được trả về trong đó phần tử đầu tiên là tensor mẫu.
Phương thức forward của ControlNetModel.
from_unet
< source >( unet: UNet2DConditionModelcontrolnet_conditioning_channel_order: str = 'rgb'conditioning_embedding_out_channels: tuple[int, ...] | None = (16, 32, 96, 256)load_weights_from_unet: bool = Trueconditioning_channels: int = 3 )
Tham số
- unet (
UNet2DConditionModel) — Trọng số của mô hình UNet để sao chép sang ControlNetModel. Tất cả các tùy chọn cấu hình cũng được sao chép khi áp dụng được.
Tạo một ControlNetModel từ UNet2DConditionModel.
set_attention_slice
< source >( slice_size: str | int | list[int] )
Tham số
- slice_size (
strhoặcinthoặclist(int), tùy chọn, mặc định là"auto") — Khi là"auto", đầu vào của các attention head được chia đôi, do đó attention được tính toán trong hai bước. Nếu là"max", lượng bộ nhớ được tiết kiệm tối đa bằng cách chỉ chạy một slice tại một thời điểm. Nếu cung cấp một số, số lượng slice được sử dụng bằngattention_head_dim // slice_size. Trong trường hợp này,attention_head_dimphải là bội số củaslice_size.
Bật tính toán chú ý dạng lát cắt.
Khi tùy chọn này được bật, module attention sẽ chia tensor đầu vào thành các lát để tính toán attention qua nhiều bước. Điều này hữu ích để tiết kiệm một phần bộ nhớ, đổi lại là sự giảm tốc độ nhỏ.
Tắt các bộ xử lý chú ý tùy chỉnh và đặt cài đặt chú ý mặc định.
ControlNetOutput
lớp diffusers.models.controlnets.ControlNetOutput
< source >( down_block_res_samples: tuplemid_block_res_sample: Tensor )
Tham số
- down_block_res_samples (
tuple[torch.Tensor]) — Một tuple chứa các kích hoạt hạ mẫu ở các độ phân giải khác nhau cho mỗi khối hạ mẫu. Mỗi tensor nên có hình dạng(batch_size, channel * resolution, height //resolution, width // resolution). Đầu ra có thể được dùng để điều kiện hóa các kích hoạt hạ mẫu của UNet gốc. - mid_down_block_re_sample (
torch.Tensor) — Kích hoạt của khối trung tâm (độ phân giải mẫu thấp nhất). Mỗi tensor nên có hình dạng(batch_size, channel * lowest_resolution, height // lowest_resolution, width // lowest_resolution). Đầu ra có thể được dùng để điều kiện hóa kích hoạt của khối trung tâm trong UNet gốc.
Đầu ra của ControlNetModel.