Diffusers documentation
EDMDPMSolverMultistepScheduler
EDMDPMSolverMultistepScheduler
EDMDPMSolverMultistepScheduler は、Cheng Lu、Yuhao Zhou、Fan Bao、Jianfei Chen、Chongxuan Li、Jun Zhu による DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps および DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models に由来するマルチステップスケジューラである DPMSolverMultistepScheduler の Karras 定式化 です。
DPMSolver(および改良版のDPMSolver++)は、収束次数を保証する拡散ODE用の高速な専用高次ソルバーです。実証的に、DPMSolverによるサンプリングはわずか20ステップで高品質なサンプルを生成でき、10ステップでもかなり良いサンプルを生成できます。
EDMDPMSolverMultistepScheduler
クラス diffusers.EDMDPMSolverMultistepScheduler
< source >( sigma_min: float = 0.002sigma_max: float = 80.0sigma_data: float = 0.5sigma_schedule: typing.Literal['karras', 'exponential'] = 'karras'num_train_timesteps: int = 1000prediction_type: typing.Literal['epsilon', 'sample', 'v_prediction'] = 'epsilon'rho: float = 7.0solver_order: int = 2thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0algorithm_type: typing.Literal['dpmsolver++', 'sde-dpmsolver++'] = 'dpmsolver++'solver_type: typing.Literal['midpoint', 'heun'] = 'midpoint'lower_order_final: bool = Trueeuler_at_final: bool = Falsefinal_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero' )
パラメータ
- sigma_min (
float, 任意、デフォルト値は 0.002) — sigma スケジュールにおける最小ノイズ強度です。EDM 論文 [1] では 0.002 に設定されており、適切な範囲は [0, 10] です。 - sigma_max (
float, 任意、デフォルト値は 80.0) — sigma スケジュールにおけるノイズの最大振幅です。EDM 論文 [1] では 80.0 に設定されており、適切な範囲は [0.2, 80.0] です。 - sigma_data (
float、任意、デフォルト値は 0.5) — データ分布の標準偏差です。EDM の論文 [1] では 0.5 に設定されています。 - sigma_schedule (
str、任意、デフォルトはkarras) —sigmasを計算するための Sigma スケジュールです。デフォルトでは、EDM 論文 (https://huggingface.co/papers/2206.00364) で提案されたスケジュールを使用します。その他の有効な値は “exponential” です。この指数関数スケジュールは、以下のモデルに組み込まれています: https://huggingface.co/stabilityai/cosxl。 - num_train_timesteps (
int、デフォルト値は 1000) — モデルを学習するための拡散ステップ数。 - prediction_type (
str, defaults toepsilon, optional) — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - rho (
float, 任意、デフォルト値は 7.0) — Karras シグマスケジュールにおける rho パラメータです。EDM 論文 [1] では 7.0 に設定されていました。 - solver_order (
int、デフォルトは 2) —1、2、または3を指定できる DPMSolver のオーダーです。ガイド付きサンプリングにはsolver_order=2、無条件サンプリングにはsolver_order=3の使用を推奨します。 - thresholding (
bool、デフォルトはFalse) — 「動的閾値処理」メソッドを使用するかどうか。Stable Diffusion などの潜在空間拡散モデルには不向きです。 - dynamic_thresholding_ratio (
float、デフォルト値は 0.995) — 動的閾値化手法の比率。thresholding=Trueの場合のみ有効です。 - sample_max_value (
float、デフォルト値は 1.0) — 動的閾値処理の閾値です。thresholding=Trueかつalgorithm_type="dpmsolver++"の場合にのみ有効です。 - algorithm_type (
str、デフォルトはdpmsolver++) — ソルバーのアルゴリズムタイプです。dpmsolver++またはsde-dpmsolver++を指定できます。dpmsolver++タイプは、DPMSolver++ 論文に記述されているアルゴリズムを実装しています。Stable Diffusion におけるガイド付きサンプリングのような用途では、dpmsolver++またはsde-dpmsolver++をsolver_order=2と組み合わせて使用することを推奨します。 - solver_type (
str、デフォルトはmidpoint) — 2 次ソルバーのソルバータイプです。midpointまたはheunを指定できます。ソルバータイプはサンプルの品質にわずかな影響を与えますが、ステップ数が少ない場合に特に顕著です。midpointソルバーの使用を推奨します。 - lower_order_final (
bool、デフォルトはTrue) — 最終ステップで低次数のソルバーを使用するかどうか。推論ステップ数が 15 未満の場合のみ有効です。ステップ数が 15 未満、特に 10 以下の場合は、DPMSolver のサンプリングを安定させることができます。 - euler_at_final (
bool、デフォルトはFalse) — 最終ステップでオイラー法を使用するかどうかを指定します。数値的安定性とディテールの豊かさのトレードオフです。推論ステップ数が少ない場合、DPMSolver の SDE 変種のサンプリングを安定化させることができますが、場合によってはぼやけの原因となる可能性があります。 - final_sigmas_type (
str、デフォルトは"zero") — サンプリングプロセス中のノイズスケジュールにおける最終的なsigma値です。"sigma_min"の場合、最終的な sigma は学習スケジュールの最後の sigma と同じになります。zeroの場合、最終的な sigma は 0 に設定されます。
Karras et al. 2022 [1] に示された EDM 定式化における DPMSolverMultistepScheduler を実装します。EDMDPMSolverMultistepScheduler は、拡散 ODE 向けの高速な専用高次ソルバーです。
[1] Karras, Tero, et al. “Elucidating the Design Space of Diffusion-Based Generative Models.” https://huggingface.co/papers/2206.00364
このモデルは SchedulerMixin および ConfigMixin を継承しています。読み込みや保存など、ライブラリがすべてのスケジューラに対して実装している汎用的なメソッドについては、スーパークラスのドキュメントを参照してください。
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: Tensor ) → torch.Tensor
指定されたタイムステップにおけるノイズスケジュールに従って、元のサンプルにノイズを追加します。
convert_model_output
< source >( model_output: Tensorsample: Tensor ) → torch.Tensor
モデルの出力を、DPMSolver/DPMSolver++ アルゴリズムが要求する対応する型に変換します。DPM-Solver はノイズ予測モデルの積分を離散化するように設計されており、DPM-Solver++ はデータ予測モデルの積分を離散化するように設計されています。
> アルゴリズムとモデルタイプは分離されています。ノイズ予測モデルとデータ予測モデルの両方で、DPMSolverまたはDPMSolver++を使用できます。
dpm_solver_first_order_update
< source >( model_output: Tensorsample: Tensornoise: typing.Optional[torch.Tensor] = None ) → torch.Tensor
1次DPMSolverの1ステップ(DDIMと同等)。
index_for_timestep
< source >( timestep: typing.Union[int, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
スケジュール内の指定されたタイムステップのインデックスを取得します。
multistep_dpm_solver_second_order_update
< source >( model_output_list: typing.List[torch.Tensor]sample: Tensornoise: typing.Optional[torch.Tensor] = None ) → torch.Tensor
2次多ステップDPMSolverの1ステップ。
multistep_dpm_solver_third_order_update
< source >( model_output_list: listsample: Tensor ) → torch.Tensor
3階の多段DPMSolverの1ステップ。
precondition_inputs
< source >( sample: Tensorsigma: typing.Union[float, torch.Tensor] ) → torch.Tensor
EDMの定式化に従ってスケーリングすることにより、入力サンプルを事前処理します。
precondition_noise
< source >( sigma: typing.Union[float, torch.Tensor] ) → torch.Tensor
対数変換を適用して、ノイズレベルを事前処理します。
precondition_outputs
< source >( sample: Tensormodel_output: Tensorsigma: typing.Union[float, torch.Tensor] ) → torch.Tensor
EDMの定式化に従って、モデルの出力を事前処理します。
scale_model_input
< source >( sample: Tensortimestep: typing.Union[float, torch.Tensor] ) → torch.Tensor
Eulerアルゴリズムに合わせて、ノイズ除去モデルの入力をスケーリングします。現在のタイムステップに応じてノイズ除去モデルの入力をスケーリングする必要があるスケジューラーとの相互運用性を保証します。
set_begin_index
< source >( begin_index: int = 0 )
スケジューラの開始インデックスを設定します。この関数は、推論の前にパイプラインから実行する必要があります。
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device, NoneType] = None )
拡散チェーンで使用される離散タイムステップを設定します(推論の実行前に実行する必要があります)。
ステップ
< source >( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensorgenerator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → SchedulerOutput or tuple
パラメータ
- model_output (
torch.Tensor) — 学習済み拡散モデルからの直接の出力です。 - timestep (
int) — 拡散チェーンにおける現在の離散タイムステップ。 - sample (
torch.Tensor) — 拡散プロセスによって生成されたサンプルの現在のインスタンス。 - generator (
torch.Generator、任意) — 乱数生成器です。 - return_dict (
bool) —tupleを返すか、SchedulerOutput を返すかを指定します。
戻り値
SchedulerOutput または tuple
True の場合、SchedulerOutput が返され、それ以外の場合は、最初の要素がサンプルテンソルであるタプルが返されます。
前回のタイムステップのサンプルを、SDEを逆方向に適用することで予測します。この関数は、マルチステップDPMSolverを用いてサンプルを伝播します。
SchedulerOutput
class diffusers.schedulers.scheduling_utils.SchedulerOutput
< source >( prev_sample: Tensor )
スケジューラーのstep関数の出力の基底クラス。