# AsymmetricAutoencoderKL

Улучшенная большая модель вариационного автоэнкодера (VAE) с потерей KL для задачи инпейнтинга: [Designing a Better Asymmetric VQGAN for StableDiffusion](https://huggingface.co/papers/2306.04632) от Zixin Zhu, Xuelu Feng, Dongdong Chen, Jianmin Bao, Le Wang, Yinpeng Chen, Lu Yuan, Gang Hua.

Аннотация из статьи:

*StableDiffusion — это революционный генератор изображений по текстовому описанию, который произвел фурор в мире генерации и редактирования изображений. В отличие от традиционных методов, которые обучают диффузионную модель в пиксельном пространстве, StableDiffusion обучает диффузионную модель в латентном пространстве с помощью VQGAN, обеспечивая как эффективность, так и качество. Он поддерживает не только задачи генерации изображений, но и позволяет редактировать реальные изображения, например, выполнять inpainting и локальное редактирование. Однако мы наблюдали, что стандартный VQGAN, используемый в StableDiffusion, приводит к значительной потере информации, вызывая артефакты искажений даже в неизмененных областях изображения. В связи с этим мы предлагаем новый асимметричный VQGAN с двумя простыми решениями. Во-первых, помимо входа из энкодера, декодер содержит условную ветвь, которая включает информацию из априорных данных, специфичных для задачи, например, из немаскированной области изображения при inpainting. Во-вторых, декодер значительно тяжелее энкодера, что позволяет более детально восстанавливать изображение, лишь незначительно увеличивая общие затраты на инференс. Стоимость обучения нашего асимметричного VQGAN невелика: нам нужно переобучить только новый асимметричный декодер, сохранив стандартный энкодер VQGAN и StableDiffusion без изменений. Наш асимметричный VQGAN может широко использоваться в методах inpainting и локального редактирования на базе StableDiffusion. Многочисленные эксперименты показывают, что он значительно улучшает качество inpainting и редактирования, сохраняя при этом исходную способность генерировать изображения по тексту. Код доступен по адресу https://github.com/buxiangzhiren/Asymmetric_VQGAN*

Результаты оценки можно найти в разделе 4.1 оригинальной статьи.

## Доступные контрольные точки

* [https://huggingface.co/cross-attention/asymmetric-autoencoder-kl-x-1-5](https://huggingface.co/cross-attention/asymmetric-autoencoder-kl-x-1-5)
* [https://huggingface.co/cross-attention/asymmetric-autoencoder-kl-x-2](https://huggingface.co/cross-attention/asymmetric-autoencoder-kl-x-2)

## Пример использования

```python
from diffusers import AsymmetricAutoencoderKL, StableDiffusionInpaintPipeline
from diffusers.utils import load_image, make_image_grid

prompt = "a photo of a person with beard"
img_url = "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/repaint/celeba_hq_256.png"
mask_url = "https://huggingface.co/datasets/hf-internal-testing/diffusers-images/resolve/main/repaint/mask_256.png"

original_image = load_image(img_url).resize((512, 512))
mask_image = load_image(mask_url).resize((512, 512))

pipe = StableDiffusionInpaintPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-inpainting")
pipe.vae = AsymmetricAutoencoderKL.from_pretrained("cross-attention/asymmetric-autoencoder-kl-x-1-5")
pipe.to("cuda")  # or "mps", "xpu", "cpu"

image = pipe(prompt=prompt, image=original_image, mask_image=mask_image).images[0]
make_image_grid([original_image, mask_image, image], rows=1, cols=3)
```

## AsymmetricAutoencoderKL[[diffusers.AsymmetricAutoencoderKL]]

#### diffusers.AsymmetricAutoencoderKL[[diffusers.AsymmetricAutoencoderKL]]

```python
diffusers.AsymmetricAutoencoderKL(in_channels: int = 3, out_channels: int = 3, down_block_types: tuple = ('DownEncoderBlock2D',), down_block_out_channels: tuple = (64,), layers_per_down_block: int = 1, up_block_types: tuple = ('UpDecoderBlock2D',), up_block_out_channels: tuple = (64,), layers_per_up_block: int = 1, act_fn: str = 'silu', latent_channels: int = 4, norm_num_groups: int = 32, sample_size: int = 32, scaling_factor: float = 0.18215)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_asym_kl.py#L24)

**Параметры:**

in_channels (int, *необязательный*, по умолчанию 3) : Количество каналов во входном изображении.

out_channels (int, *optional*, по умолчанию 3) : Количество каналов на выходе.

down_block_types (`tuple[str]`, *необязательный*, по умолчанию `("DownEncoderBlock2D",)`) : кортеж типов блоков даунсемплинга.

down_block_out_channels (`tuple[int]`, *необязательный*, по умолчанию `(64,)`) : кортеж каналов вывода блоков понижения.

layers_per_down_block (`int`, *необязательный*, по умолчанию `1`) : Количество слоёв для нижнего блока.

up_block_types (`tuple[str]`, *необязательный*, по умолчанию `("UpDecoderBlock2D",)`) : кортеж типов блоков апсемплинга.

up_block_out_channels (`tuple[int]`, *optional*, по умолчанию `(64,)`) : кортеж каналов вывода блоков up.

layers_per_up_block (`int`, *необязательный*, по умолчанию `1`) : Количество слоев для блока up.

act_fn (`str`, *необязательный*, по умолчанию `"silu"`) : Функция активации, которую следует использовать.

latent_channels (`int`, *необязательный*, по умолчанию 4) : Количество каналов в латентном пространстве.

sample_size (`int`, *необязательный*, по умолчанию `32`) : Размер входной выборки.

norm_num_groups (`int`, *необязательный*, по умолчанию `32`) : Количество групп, используемых для первого слоя нормализации в блоках ResNet.

scaling_factor (`float`, *optional*, по умолчанию 0.18215) : Компонентное стандартное отклонение обученного латентного пространства, вычисленное на основе первой партии обучающей выборки. Используется для масштабирования латентного пространства до единичной дисперсии при обучении диффузионной модели. Перед передачей в диффузионную модель латенты масштабируются по формуле `z = z * scaling_factor`. При декодировании латенты возвращаются к исходному масштабу по формуле: `z = 1 / scaling_factor * z`. Дополнительные сведения см. в разделах 4.3.2 и D.1 статьи [High-Resolution Image Synthesis with Latent Diffusion Models](https://huggingface.co/papers/2112.10752).

Разработка более эффективного асимметричного VQGAN для StableDiffusion https://huggingface.co/papers/2306.04632 . Модель VAE с потерей KL для кодирования изображений в латентные представления и декодирования латентных представлений в изображения.

Эта модель наследуется от [ModelMixin](/docs/diffusers/main/ru/api/models/overview#diffusers.ModelMixin). См. документацию суперкласса для его универсальных методов, реализованных для всех моделей (например, загрузка или сохранение).

#### forward[[diffusers.AsymmetricAutoencoderKL.forward]]

```python
forward(sample: Tensor, mask: typing.Optional[torch.Tensor] = None, sample_posterior: bool = False, return_dict: bool = True, generator: typing.Optional[torch.Generator] = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/autoencoder_asym_kl.py#L153)

**Параметры:**

sample (`torch.Tensor`) : Входящий образец.

mask (`torch.Tensor`, *необязательный*, по умолчанию `None`) : Необязательная маска для inpainting.

sample_posterior (`bool`, *необязательный*, по умолчанию `False`) : Флаг, определяющий, следует ли выполнять выборку из апостериорного распределения.

return_dict (`bool`, *необязательный*, по умолчанию `True`) : Возвращать ли `DecoderOutput` вместо обычного кортежа.

generator (`torch.Generator`, *необязательный*) : [`torch.Generator`](https://pytorch.org/docs/stable/generated/torch.Generator.html) для обеспечения детерминированности выборки.

**Возвращает:** `DecoderOutput` или `tuple`

Если `return_dict` равно True, возвращается `DecoderOutput`, в противном случае возвращается обычный `tuple`.

## AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

#### diffusers.models.modeling_outputs.AutoencoderKLOutput[[diffusers.models.modeling_outputs.AutoencoderKLOutput]]

```python
diffusers.models.modeling_outputs.AutoencoderKLOutput(latent_dist: DiagonalGaussianDistribution)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/modeling_outputs.py#L7)

**Параметры:**

latent_dist (`DiagonalGaussianDistribution`) : Закодированные выходные данные `Encoder`, представленные в виде среднего и logvar распределения `DiagonalGaussianDistribution`. `DiagonalGaussianDistribution` позволяет извлекать латентные переменные из этого распределения.

Результат метода кодирования AutoencoderKL.

## DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

#### diffusers.models.autoencoders.vae.DecoderOutput[[diffusers.models.autoencoders.vae.DecoderOutput]]

```python
diffusers.models.autoencoders.vae.DecoderOutput(sample: Tensor, commit_loss: typing.Optional[torch.FloatTensor] = None)
```

[Источник](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/autoencoders/vae.py#L49)

**Параметры:**

sample (`torch.Tensor` формы `(batch_size, num_channels, height, width)`) : Декодированный вывод из последнего слоя модели.

Результат метода декодирования.