Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

HiDreamImageTransformer2DModel

Một mô hình Transformer cho dữ liệu dạng ảnh từ HiDream-I1.

Mô hình có thể được tải bằng đoạn mã sau.

from diffusers import HiDreamImageTransformer2DModel

transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)

Tải checkpoint lượng tử hóa GGUF cho HiDream-I1

Các checkpoint GGUF cho HiDreamImageTransformer2DModel có thể được tải bằng ~FromOriginalModelMixin.from_single_file

import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel

ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
    ckpt_path,
    quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
    dtype=torch.bfloat16
)

HiDreamImageTransformer2DModel

lớp diffusers.HiDreamImageTransformer2DModel

< source >

( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple = (32, 32)max_resolution: tuple = (128, 128)llama_layers: list = Noneforce_inference_output: bool = False )

forward

< source >

( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Tham số

hidden_states (torch.Tensor có hình dạng (batch_size, in_channels, height, width) hoặc (batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — hidden_states đầu vào.
timesteps (torch.LongTensor) — Dùng để chỉ bước khử nhiễu.
encoder_hidden_states_t5 (torch.Tensor) — Các embedding điều kiện được tính toán từ bộ mã hóa văn bản T5.
encoder_hidden_states_llama3 (torch.Tensor) — Các embedding điều kiện được tính toán từ bộ mã hóa văn bản Llama3.
pooled_embeds (torch.Tensor) — Các embedding văn bản đã được pool, dùng cho việc điều kiện bổ sung.
img_ids (torch.Tensor, tùy chọn) — Các id vị trí ảnh cho các trạng thái ẩn đã vá (patched).
img_sizes (list của tuple của int, tùy chọn) — Kích thước lưới patch cho từng mẫu được sử dụng để unpatchify đầu ra.
hidden_states_masks (torch.Tensor, tùy chọn) — Mặt nạ (mask) cho hidden_states đã được chia mảnh (patched).
attention_kwargs (dict, tùy chọn) — Một từ điển kwargs, nếu được chỉ định, sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.
return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.transformer_2d.Transformer2DModelOutput thay vì một tuple thông thường hay không.

Phương thức forward của HiDreamImageTransformer2DModel.

Transformer2DModelOutput

lớp diffusers.models.modeling_outputs.Transformer2DModelOutput

< source >

( sample: torch.Tensor )

Tham số

sample (torch.Tensor có hình dạng (batch_size, num_channels, height, width) hoặc (batch size, num_vector_embeds - 1, num_latent_pixels) nếu Transformer2DModel là rời rạc) — Trạng thái ẩn đầu ra được điều kiện bởi đầu vào encoder_hidden_states. Nếu là rời rạc, trả về các phân phối xác suất cho các pixel tiềm ẩn không nhiễu.

Đầu ra của Transformer2DModel.

Update on GitHub

←HeliosTransformer3DModel HunyuanDiT2DModel→