Hugging Face's logo

Diffusers documentation

HiDreamImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HiDreamImageTransformer2DModel

Model Transformer untuk data seperti gambar dari HiDream-I1.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import HiDreamImageTransformer2DModel

transformer = HiDreamImageTransformer2DModel.from_pretrained("HiDream-ai/HiDream-I1-Full", subfolder="transformer", dtype=torch.bfloat16)

Memuat checkpoint kuantisasi GGUF untuk HiDream-I1

Checkpoint GGUF untuk HiDreamImageTransformer2DModel dapat dimuat menggunakan ~FromOriginalModelMixin.from_single_file

import torch
from diffusers import GGUFQuantizationConfig, HiDreamImageTransformer2DModel

ckpt_path = "https://huggingface.co/city96/HiDream-I1-Dev-gguf/blob/main/hidream-i1-dev-Q2_K.gguf"
transformer = HiDreamImageTransformer2DModel.from_single_file(
    ckpt_path,
    quantization_config=GGUFQuantizationConfig(compute_dtype=torch.bfloat16),
    dtype=torch.bfloat16
)

HiDreamImageTransformer2DModel

kelas diffusers.HiDreamImageTransformer2DModel

< >

( patch_size: int | None = Nonein_channels: int = 64out_channels: int | None = Nonenum_layers: int = 16num_single_layers: int = 32attention_head_dim: int = 128num_attention_heads: int = 20caption_channels: list = Nonetext_emb_dim: int = 2048num_routed_experts: int = 4num_activated_experts: int = 2axes_dims_rope: tuple = (32, 32)max_resolution: tuple = (128, 128)llama_layers: list = Noneforce_inference_output: bool = False )

forward

< >

( hidden_states: Tensortimesteps: LongTensor = Noneencoder_hidden_states_t5: Tensor = Noneencoder_hidden_states_llama3: Tensor = Nonepooled_embeds: Tensor = Noneimg_ids: typing.Optional[torch.Tensor] = Noneimg_sizes: list[tuple[int, int]] | None = Nonehidden_states_masks: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, in_channels, height, width) atau (batch_size, patch_height * patch_width, patch_size * patch_size * channels)) — hidden_states masukan.
  • timesteps (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • encoder_hidden_states_t5 (torch.Tensor) — Embedding kondisional yang dihitung dari encoder teks T5.
  • encoder_hidden_states_llama3 (torch.Tensor) — Embedding kondisional yang dihitung dari encoder teks Llama3.
  • pooled_embeds (torch.Tensor) — Embedding teks yang dipoolkan dan digunakan untuk kondisioning tambahan.
  • img_ids (torch.Tensor, opsional) — ID posisi gambar untuk hidden states yang di-patch.
  • img_sizes (list dari tuple dari int, opsional) — Ukuran grid patch per sampel yang digunakan untuk unpatchify output.
  • hidden_states_masks (torch.Tensor, opsional) — Mask untuk hidden_states yang di-patch.
  • attention_kwargs (dict, opsional) — Kamus kwargs yang jika ditentukan akan diteruskan ke AttentionProcessor seperti yang didefinisikan di bawah self.processor dalam diffusers.models.attention_processor.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Metode forward dari HiDreamImageTransformer2DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←HeliosTransformer3DModel HunyuanDiT2DModel→