Diffusers documentation
AceStepTransformer1DModel
AceStepTransformer1DModel
Um Diffusion Transformer 1D para geração de música a partir do ACE-Step 1.5. O modelo opera nos latentes estéreo de 25 Hz produzidos pelo AutoencoderOobleck usando flow matching e é treinado com um backbone derivado do Qwen3 (atenção de consulta agrupada, incorporação de posição rotativa, RMSNorm, condicionamento de passo de tempo AdaLN-Zero) além de atenção cruzada para as condições de texto / letra / timbre construídas por AceStepConditionEncoder.
AceStepTransformer1DModel
classe diffusers.AceStepTransformer1DModel
< source >( hidden_size: int = 2048intermediate_size: int = 6144num_hidden_layers: int = 24num_attention_heads: int = 16num_key_value_heads: int = 8head_dim: int = 128in_channels: int = 192audio_acoustic_hidden_dim: int = 64patch_size: int = 2rope_theta: float = 1000000.0attention_bias: bool = Falseattention_dropout: float = 0.0rms_norm_eps: float = 1e-06sliding_window: int = 128layer_types: typing.Optional[typing.List[str]] = Noneencoder_hidden_size: typing.Optional[int] = Noneis_turbo: bool = Falsemodel_version: typing.Optional[str] = None )
Diffusion Transformer para geração de música com ACE-Step 1.5.
Gera latentes de áudio condicionados em texto, letras e timbre. Utiliza incorporação de patches 1D (Conv1d com passo patch_size) seguida por uma pilha de AceStepTransformerBlocks com atenção deslizante / atenção completa alternadas no ramo de autoatenção. A atenção cruzada consome os encoder_hidden_states empacotados produzidos por AceStepConditionEncoder.
forward
< source >( hidden_states: Tensortimestep: Tensortimestep_r: Tensorencoder_hidden_states: Tensorcontext_latents: Tensorattention_kwargs: typing.Optional[dict] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
Parâmetros
- hidden_states (
torch.Tensorde forma(batch_size, seq_len, channels)) — Entrada latente com ruído para o processo de difusão. - timestep (
torch.Tensorde forma(batch_size,)) — Passo de difusão atualt. - timestep_r (
torch.Tensorde forma(batch_size,)) — Timestep de referênciar(definido igual atpara inferência padrão). - encoder_hidden_states (
torch.Tensorde forma(batch_size, encoder_seq_len, hidden_size)) — Incorporações de condicionamento do codificador de condição (texto + letras + timbre). - context_latents (
torch.Tensorde forma(batch_size, seq_len, context_dim)) — Latentes de contexto (latentes de origem concatenados com máscaras de blocos) — fornecidos à convolução de patchify junto comhidden_states. - attention_kwargs (
dict, opcional) — Um dicionário de kwargs passado para oAttentionProcessor. Usado para passar a escala do LoRA via{"scale": float}. - return_dict (
bool, padrãoTrue) — Se deve retornar umTransformer2DModelOutputou uma tupla simples.
Retorna
Transformer2DModelOutput ou tuple
O campo de velocidade previsto.
O método forward do AceStepTransformer1DModel.