# RePaintScheduler

`RePaintScheduler` é um agendador de inpainting baseado em DDPM para inpainting não supervisionado com máscaras extremas. Ele foi projetado para ser usado com o `RePaintPipeline` e é baseado no artigo [RePaint: Inpainting using Denoising Diffusion Probabilistic Models](https://huggingface.co/papers/2201.09865), de Andreas Lugmayr et al.

O resumo do artigo é:

*O inpainting livre é a tarefa de adicionar novo conteúdo a uma imagem nas regiões especificadas por uma máscara binária arbitrária. A maioria das abordagens existentes é treinada para uma certa distribuição de máscaras, o que limita sua capacidade de generalização para tipos de máscara não vistos. Além disso, o treinamento com perdas por pixel e perdas perceptivas frequentemente leva a extensões texturais simples em direção às áreas ausentes, em vez de uma geração semanticamente significativa. Neste trabalho, propomos o RePaint: uma abordagem de inpainting baseada em um Modelo Probabilístico de Difusão com Denoising (DDPM) que é aplicável até mesmo a máscaras extremas. Utilizamos um DDPM incondicional pré-treinado como o prior generativo. Para condicionar o processo de geração, alteramos apenas as iterações de difusão reversa, amostrando as regiões não mascaradas usando as informações da imagem dada. Como essa técnica não modifica nem condiciona a própria rede DDPM original, o modelo produz imagens de saída de alta qualidade e diversas para qualquer forma de inpainting. Validamos nosso método para inpainting de rostos e de imagens de uso geral, usando máscaras padrão e extremas. O RePaint supera as abordagens Autoregressive e GAN do estado da arte para pelo menos cinco das seis distribuições de máscaras. Repositório no GitHub: [este URL http](http://git.io/RePaint).*

A implementação original pode ser encontrada em [andreas128/RePaint](https://github.com/andreas128/).

## RePaintScheduler[[diffusers.RePaintScheduler]]

#### diffusers.RePaintScheduler[[diffusers.RePaintScheduler]]

```python
diffusers.RePaintScheduler(num_train_timesteps: int = 1000, beta_start: float = 0.0001, beta_end: float = 0.02, beta_schedule: str = 'linear', eta: float = 0.0, trained_betas: numpy.ndarray | None = None, clip_sample: bool = True)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L99)

**Parâmetros:**

num_train_timesteps (`int`, padrão `1000`) : O número de etapas de difusão para treinar o modelo.

beta_start (`float`, padrão `0.0001`) : O valor inicial de `beta` para a inferência.

beta_end (`float`, padrão `0.02`) : O valor final de `beta`.

beta_schedule (`str`, padrão `"linear"`) : O agendamento de beta, um mapeamento de um intervalo de beta para uma sequência de betas para dar passos no modelo. Escolha entre `linear`, `scaled_linear`, `squaredcos_cap_v2` ou `sigmoid`.

eta (`float`, padrão `0.0`) : O peso do ruído adicionado durante uma etapa de difusão. Um valor de `0.0` corresponde ao DDIM e um valor de `1.0` corresponde ao DDPM.

trained_betas (`np.ndarray`, *opcional*) : Passe um array de betas diretamente para o construtor para ignorar `beta_start` e `beta_end`.

clip_sample (`bool`, padrão `True`) : Recorta a amostra prevista entre -1 e 1 para estabilidade numérica.

`RePaintScheduler` é um agendador para inpainting de DDPM dentro de uma máscara definida.

Este modelo herda de [SchedulerMixin](/docs/diffusers/main/pt/api/schedulers/overview#diffusers.SchedulerMixin) e [ConfigMixin](/docs/diffusers/main/pt/api/configuration#diffusers.ConfigMixin). Consulte a documentação da superclasse para os métodos genéricos que a biblioteca implementa para todos os agendadores, como carregamento e salvamento.

#### add_noise[[diffusers.RePaintScheduler.add_noise]]

```python
add_noise(original_samples: Tensor, noise: Tensor, timesteps: IntTensor)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L395)

**Parâmetros:**

original_samples (`torch.Tensor`) : As amostras originais às quais o ruído seria adicionado.

noise (`torch.Tensor`) : O ruído que seria adicionado às amostras.

timesteps (`torch.IntTensor`) : Os timesteps que determinariam o nível de ruído para cada amostra.

**Exceções:** ``NotImplementedError``

- ``NotImplementedError`` -- O treinamento do RePaint deve usar [DDPMScheduler.add_noise()](/docs/diffusers/main/pt/api/schedulers/ddpm#diffusers.DDPMScheduler.add_noise) em vez disso.

Indique que a adição de ruído para o treinamento do RePaint não é suportada por este agendador.

#### scale_model_input[[diffusers.RePaintScheduler.scale_model_input]]

```python
scale_model_input(sample: Tensor, timestep: int | None = None)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L171)

**Parâmetros:**

sample (`torch.Tensor`) : A amostra de entrada.

timestep (`int`, *opcional*) : O timestep atual na cadeia de difusão.

**Retorna:** `torch.Tensor`

Uma amostra de entrada escalada.

Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual.

#### set_timesteps[[diffusers.RePaintScheduler.set_timesteps]]

```python
set_timesteps(num_inference_steps: int, jump_length: int = 10, jump_n_sample: int = 10, device: typing.Union[str, torch.device, NoneType] = None)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L188)

**Parâmetros:**

num_inference_steps (`int`) : O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado.

jump_length (`int`, padrão `10`) : O número de passos avançados no tempo antes de voltar no tempo para um único salto (“j” no artigo RePaint). Veja as Figuras 9 e 10 do artigo.

jump_n_sample (`int`, padrão `10`) : O número de vezes para realizar um salto temporal para frente para uma amostra de tempo escolhida. Veja as Figuras 9 e 10 no artigo.

device (`str` ou `torch.device`, *opcional*) : O dispositivo para o qual os timesteps devem ser movidos. Se `None`, os timesteps não são movidos.

Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência).

#### etapa[[diffusers.RePaintScheduler.step]]

```python
step(model_output: Tensor, timestep: int, sample: Tensor, original_image: Tensor, mask: Tensor, generator: typing.Optional[torch.Generator] = None, return_dict: bool = True)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L264)

**Parâmetros:**

model_output (`torch.Tensor`) : A saída direta do modelo de difusão aprendido.

timestep (`int`) : O passo de tempo discreto atual na cadeia de difusão.

sample (`torch.Tensor`) : Uma instância atual de uma amostra criada pelo processo de difusão.

original_image (`torch.Tensor`) : A imagem original para a inpaint.

mask (`torch.Tensor`) : A máscara em que um valor de 0.0 indica qual parte da imagem original deve ser preenchida.

generator (`torch.Generator`, *opcional*) : Um gerador de números aleatórios.

return_dict (`bool`, padrão `True`) : Se deve ou não retornar um [RePaintSchedulerOutput](/docs/diffusers/main/pt/api/schedulers/repaint#diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput) em vez de uma tupla.

**Retorna:** [RePaintSchedulerOutput](/docs/diffusers/main/pt/api/schedulers/repaint#diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput) ou `tuple[torch.Tensor, torch.Tensor]`

Se return_dict for `True`, [RePaintSchedulerOutput](/docs/diffusers/main/pt/api/schedulers/repaint#diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput) é retornado; caso contrário, uma tupla é retornada, em que o primeiro elemento é a amostra anterior e o segundo é a amostra original prevista.

Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga o processo de difusão a partir das saídas do modelo aprendido (na maioria das vezes, o ruído previsto).

#### undo_step[[diffusers.RePaintScheduler.undo_step]]

```python
undo_step(sample: Tensor, timestep: int, generator: typing.Optional[torch.Generator] = None)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L358)

**Parâmetros:**

sample (`torch.Tensor`) : A amostra à qual o ruído é adicionado.

timestep (`int`) : O passo de tempo discreto atual na cadeia de difusão.

generator (`torch.Generator`, *opcional*) : Um gerador de números aleatórios.

**Retorna:** `torch.Tensor`

A amostra no próximo passo de tempo na cadeia de difusão.

Adicione ruído a uma amostra para avançá-la em um passo de difusão.

## RePaintSchedulerOutput[[diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput]]

#### diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput[[diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput]]

```python
diffusers.schedulers.scheduling_repaint.RePaintSchedulerOutput(prev_sample: Tensor, pred_original_sample: Tensor)
```

[Fonte](https://github.com/huggingface/diffusers/blob/main/src/diffusers/schedulers/scheduling_repaint.py#L29)

**Parâmetros:**

prev_sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)` para imagens) : Amostra calculada (x_{t-1}) do passo anterior. `prev_sample` deve ser usado como próxima entrada do modelo no loop de remoção de ruído.

pred_original_sample (`torch.Tensor` de forma `(batch_size, num_channels, height, width)` para imagens) : A amostra desruidada prevista (x_{0}) com base na saída do modelo do timestep atual. `pred_original_sample` pode ser usado para visualizar o progresso ou para orientação.

Classe de saída para a saída da função de passo do agendador.