Hugging Face's logo

Transformers documentation

モデルの出力

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

モデルの出力

すべてのモデルの出力は、ModelOutputのサブクラスのインスタンスです。これらは、モデルが返すすべての情報を含むデータ構造体ですが、タプルや辞書としても使用できます。

例を見てみましょう:

from transformers import BertTokenizer, BertForSequenceClassification
import torch

tokenizer = BertTokenizer.from_pretrained("google-bert/bert-base-uncased")
model = BertForSequenceClassification.from_pretrained("google-bert/bert-base-uncased")

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
labels = torch.tensor([1]).unsqueeze(0)  # Batch size 1
outputs = model(**inputs, labels=labels)

outputs オブジェクトは SequenceClassifierOutput です。以下のそのクラスのドキュメントに示されているように、任意の loss、logits、任意の hidden_states、および任意の attentions 属性を持ちます。ここでは labels を渡したため loss が存在しますが、output_hidden_states=True や output_attentions=True を渡していないため、hidden_states と attentions は存在しません。

output_hidden_states=True を指定した場合、outputs.hidden_states[-1] は常に outputs.last_hidden_state と同じテンソルとは限りません。ViT、DINOv2、CLIP、Wav2Vec2 などの多くのビジョンおよびオーディオエンコーダーは、hidden_states[-1] に最終的な LayerNorm 前 の最終層の出力を返し、last_hidden_state に正規化された出力を返します。モデルの最終的な特徴量には last_hidden_state を使用してください。hidden_states[-1] を last_hidden_state と一致させるには、モデルの設定で tie_last_hidden_states=True を設定してください。

各属性は通常どおりアクセスでき、その属性がモデルによって返されていない場合はNoneが返されます。例えば、outputs.lossはモデルによって計算された損失であり、outputs.attentionsはNoneです。

outputs オブジェクトをタプルとして扱う場合、None 値を持たない属性のみが考慮されます。 ここでは、例えば2つの要素、loss と logits を持つため、

outputs[:2]

例えば、(outputs.loss, outputs.logits) というタプルを返します。

outputs オブジェクトを辞書として扱う場合、None 以外の値を持つ属性のみが考慮されます。例えば、ここでは loss と logits という2つのキーがあります。

ここでは、複数のモデルタイプで使用される汎用的なモデル出力を記載しています。特定の出力タイプについては、それぞれのモデルのページに記載されています。

ModelOutput

class transformers.utils.ModelOutput

< >

( *args**kwargs )

すべてのモデル出力の基底クラスであり、dataclass として実装されています。__getitem__ を備えており、整数やスライス（タプルと同様）または文字列（辞書と同様）によるインデックス指定が可能です。この際、None 属性は無視されます。それ以外の動作は、通常の Python 辞書と同様です。

ModelOutputを直接アンパックすることはできません。まず、to_tuple()メソッドを使用してタプルに変換してください。

to_tuple

< >

( )

None 以外のすべての属性/キーを含むタプルに self を変換します。

BaseModelOutput

クラス transformers.modeling_outputs.BaseModelOutput

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンスです。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

モデルの出力の基底クラス。潜在的な隠れ状態とアテンションを含む場合があります。

BaseModelOutputWithPooling

class transformers.modeling_outputs.BaseModelOutputWithPooling

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Nonepooler_output: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンスです。
  • pooler_output (torch.Tensor、形状 (batch_size, hidden_size)) — シーケンスの最初のトークン（分類トークン）の最終層の隠れ状態を、補助的な事前学習タスクに使用される層でさらに処理した後の出力です。例えば、BERT 系のモデルでは、線形層と tanh 活性化関数を経て処理された分類トークンを返します。この線形層の重みは、事前学習中の次の文予測（分類）目的関数から学習されます。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

モデルの出力の基底クラスであり、最後の隠れ状態のプーリングも含まれます。

BaseModelOutputWithCrossAttentions

class transformers.modeling_outputs.BaseModelOutputWithCrossAttentions

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンスです。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True かつ config.add_cross_attention=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

モデルの出力の基底クラス。潜在的な隠れ状態とアテンションを含む場合があります。

BaseModelOutputWithPoolingAndCrossAttentions

class transformers.modeling_outputs.BaseModelOutputWithPoolingAndCrossAttentions

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Nonepooler_output: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneattentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンスです。
  • pooler_output (torch.Tensor、形状 (batch_size, hidden_size)) — シーケンスの最初のトークン（分類トークン）の最終層の隠れ状態を、補助的な事前学習タスクに使用される層でさらに処理した後の出力です。例えば、BERT 系のモデルでは、線形層と tanh 活性化関数を経て処理された分類トークンを返します。この線形層の重みは、事前学習中の次の文予測（分類）目的関数から学習されます。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True かつ config.add_cross_attention=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • past_key_values (Cache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは Cache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己アテンションブロック（および config.is_encoder_decoder=True の場合、クロスカレンションブロック）の事前計算済みヒドゥンステート（キーとバリュー）を保持します。これらはシーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

モデルの出力の基底クラスであり、最後の隠れ状態のプーリングも含まれます。

BaseModelOutputWithPast

class transformers.modeling_outputs.BaseModelOutputWithPast

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • last_hidden_state (torch.Tensor の形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

    past_key_valuesが使用されている場合、出力されるのは、形状(batch_size, 1, hidden_size)のシーケンスの最後の隠れ状態のみです。

  • past_key_values (Cache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは Cache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己アテンションブロック（および config.is_encoder_decoder=True の場合、クロスカレンションブロック）の事前計算済みヒドゥンステート（キーとバリュー）を保持します。これらはシーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

シーケンシャルなデコーディングを高速化するために、過去のキー/値を含む場合もあるモデルの出力の基底クラスです。

BaseModelOutputWithPastAndCrossAttentions

class transformers.modeling_outputs.BaseModelOutputWithPastAndCrossAttentions

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • last_hidden_state (torch.Tensor の形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンス。

    past_key_valuesが使用されている場合、出力されるのは、形状(batch_size, 1, hidden_size)のシーケンスの最後の隠れ状態のみです。

  • past_key_values (Cache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは Cache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己アテンションブロック（および config.is_encoder_decoder=True の場合、クロスカレンションブロック）の事前計算済みヒドゥンステート（キーとバリュー）を保持します。これらはシーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True かつ config.add_cross_attention=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

シーケンシャルなデコーディングを高速化するために、過去のキー/値を含む場合もあるモデルの出力の基底クラスです。

Seq2SeqModelOutput

クラス transformers.modeling_outputs.Seq2SeqModelOutput

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.EncoderDecoderCache | None = Nonedecoder_hidden_states: tuple[torch.Tensor, ...] | None = Nonedecoder_attentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = Noneencoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor, ...] | None = Noneencoder_attentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • last_hidden_state (torch.Tensor の形状 (batch_size, sequence_length, hidden_size)) — モデルのデコーダーの最終層の出力における隠れ状態のシーケンス。

    past_key_valuesが使用されている場合、出力されるのは、形状(batch_size, 1, hidden_size)のシーケンスの最後の隠れ状態のみです。

  • past_key_values (EncoderDecoderCache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは EncoderDecoderCache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己注意ブロックおよび相互注意ブロック内のキーとバリューの事前計算済み隠れ状態（hidden-states）を保持しており、シーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

  • decoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるデコーダーのHidden-states、および任意の初期埋め込み出力。

  • decoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • encoder_last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンスです。
  • encoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるエンコーダーのHidden-states、および任意の初期埋め込み出力。

  • encoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

モデルエンコーダーの出力の基底クラスであり、シーケンシャルデコーディングを高速化できる事前計算済みヒドゥンステートも含まれます。

CausalLMOutput

class transformers.modeling_outputs.CausalLMOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失（次のトークンの予測用）。
  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

因果言語モデル（または自己回帰型）の出力の基底クラス。

CausalLMOutputWithCrossAttentions

class transformers.modeling_outputs.CausalLMOutputWithCrossAttentions

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失（次のトークンの予測用）。
  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のクロスアテンションの重み。クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • past_key_values (Cache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは Cache のインスタンスです。詳細については、 KVキャッシュガイド.

    シーケンシャルなデコーディングを高速化するために使用できる（past_key_values 入力参照）、事前計算済みの hidden-states（アテンションブロック内のキーとバリュー）が含まれます。

因果言語モデル（または自己回帰型）の出力の基底クラス。

CausalLMOutputWithPast

クラス transformers.modeling_outputs.CausalLMOutputWithPast

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失（次のトークンの予測用）。
  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
  • past_key_values (Cache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは Cache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己注意ブロック内の事前計算済みヒドゥンステート（キーとバリュー）が含まれており、シーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力）。

  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

因果言語モデル（または自己回帰型）の出力の基底クラス。

MaskedLMOutput

class transformers.modeling_outputs.MaskedLMOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — マスクド言語モデリング (MLM) の損失です。
  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

マスク付き言語モデルの出力の基底クラス。

Seq2SeqLMOutput

クラス transformers.modeling_outputs.Seq2SeqLMOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.EncoderDecoderCache | None = Nonedecoder_hidden_states: tuple[torch.Tensor, ...] | None = Nonedecoder_attentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = Noneencoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor, ...] | None = Noneencoder_attentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 言語モデリングの損失。
  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.vocab_size)) — 言語モデリングヘッドの予測スコア（SoftMax 適用前の各語彙トークンのスコア）。
  • past_key_values (EncoderDecoderCache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは EncoderDecoderCache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己注意ブロックおよび相互注意ブロック内のキーとバリューの事前計算済み隠れ状態（hidden-states）を保持しており、シーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

  • decoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用1つ + 各層の出力用1つ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。

  • decoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • encoder_last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンスです。
  • encoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。

  • encoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

シーケンスツーシーケンス言語モデルの出力の基底クラス。

NextSentencePredictorOutput

クラス transformers.modeling_outputs.NextSentencePredictorOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、next_sentence_label が指定された場合に返されます) — 次のシーケンス予測（分類）の損失。
  • logits (torch.Tensor、形状 (batch_size, 2)) — 次のシーケンス予測（分類）ヘッドの予測スコア（SoftMax 適用前の True/False 継続のスコア）。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

2つの文が連続しているかどうかを予測するモデルの出力の基底クラス。

SequenceClassifierOutput

class transformers.modeling_outputs.SequenceClassifierOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 分類（または、config.num_labels==1 の場合は回帰）の損失。
  • logits (torch.Tensor、形状 (batch_size, config.num_labels)) — 分類スコア（config.num_labels==1 の場合は回帰スコア）（SoftMax 適用前）。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

文分類モデルの出力の基底クラス。

Seq2SeqSequenceClassifierOutput

クラス transformers.modeling_outputs.Seq2SeqSequenceClassifierOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.EncoderDecoderCache | None = Nonedecoder_hidden_states: tuple[torch.Tensor, ...] | None = Nonedecoder_attentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = Noneencoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor, ...] | None = Noneencoder_attentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、label が指定された場合に返されます) — 分類（または、config.num_labels==1 の場合は回帰）の損失。
  • logits (torch.Tensor、形状 (batch_size, config.num_labels)) — 分類スコア（config.num_labels==1 の場合は回帰スコア）（SoftMax 適用前）。
  • past_key_values (EncoderDecoderCache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは EncoderDecoderCache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己注意ブロックおよび相互注意ブロック内のキーとバリューの事前計算済み隠れ状態（hidden-states）を保持しており、シーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

  • decoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用1つ + 各層の出力用1つ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。

  • decoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • encoder_last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンスです。
  • encoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。

  • encoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

シーケンスツーシーケンス文分類モデルの出力の基底クラス。

MultipleChoiceModelOutput

class transformers.modeling_outputs.MultipleChoiceModelOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 分類損失。
  • logits (torch.Tensor 形状 (batch_size, num_choices)) — num_choices は入力テンソルの2番目の次元です（ input_ids を参照）。

    分類スコア（SoftMax 適用前）。

  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

複数選択モデルの出力の基底クラス。

TokenClassifierOutput

クラス transformers.modeling_outputs.TokenClassifierOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 分類損失。
  • logits (torch.Tensor、形状 (batch_size, sequence_length, config.num_labels)) — 分類スコア（SoftMax 適用前）。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

トークン分類モデルの出力の基底クラス。

QuestionAnsweringModelOutput

class transformers.modeling_outputs.QuestionAnsweringModelOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonestart_logits: typing.Optional[torch.Tensor] = Noneend_logits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 総スパン抽出損失は、開始位置と終了位置の Cross-Entropy の和です。
  • start_logits (torch.Tensor、形状 (batch_size, sequence_length)) — Span の開始スコア（SoftMax 適用前）。
  • end_logits (torch.Tensor、形状 (batch_size, sequence_length)) — Span の終了スコア（SoftMax 適用前）。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

質問応答モデルの出力の基底クラス。

Seq2SeqQuestionAnsweringModelOutput

クラス transformers.modeling_outputs.Seq2SeqQuestionAnsweringModelOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonestart_logits: typing.Optional[torch.Tensor] = Noneend_logits: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.EncoderDecoderCache | None = Nonedecoder_hidden_states: tuple[torch.Tensor, ...] | None = Nonedecoder_attentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = Noneencoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor, ...] | None = Noneencoder_attentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 総スパン抽出損失は、開始位置と終了位置の Cross-Entropy の和です。
  • start_logits (torch.Tensor、形状 (batch_size, sequence_length)) — Span の開始スコア（SoftMax 適用前）。
  • end_logits (torch.Tensor、形状 (batch_size, sequence_length)) — Span の終了スコア（SoftMax 適用前）。
  • past_key_values (EncoderDecoderCache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは EncoderDecoderCache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己注意ブロックおよび相互注意ブロック内のキーとバリューの事前計算済み隠れ状態（hidden-states）を保持しており、シーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

  • decoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用1つ + 各層の出力用1つ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。

  • decoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • encoder_last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンスです。
  • encoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。

  • encoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

シーケンスツーシーケンスの質問応答モデルの出力の基底クラス。

Seq2SeqSpectrogramOutput

クラス transformers.modeling_outputs.Seq2SeqSpectrogramOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonespectrogram: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.EncoderDecoderCache | None = Nonedecoder_hidden_states: tuple[torch.Tensor, ...] | None = Nonedecoder_attentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = Noneencoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor, ...] | None = Noneencoder_attentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — スペクトログラム生成の損失。
  • spectrogram (torch.Tensor、形状 (batch_size, sequence_length, num_bins)) — 予測されたスペクトログラム。
  • past_key_values (EncoderDecoderCache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは EncoderDecoderCache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己注意ブロックおよび相互注意ブロック内のキーとバリューの事前計算済み隠れ状態（hidden-states）を保持しており、シーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

  • decoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用1つ + 各層の出力用1つ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。

  • decoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • encoder_last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンスです。
  • encoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。

  • encoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

シーケンスツーシーケンスのスペクトログラム出力の基底クラス。

SemanticSegmenterOutput

クラス transformers.modeling_outputs.SemanticSegmenterOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 分類（または、config.num_labels==1 の場合は回帰）の損失。
  • logits (torch.Tensor の形状 (batch_size, config.num_labels, logits_height, logits_width)) — 各ピクセルの分類スコア。

    pixel_values として入力に渡されたものと同じサイズであるとは限らない logits が返されます。これは、ユーザーが後処理として logits を元の画像サイズにリサイズする必要がある場合に、2回の補間処理を行って品質を失うことを避けるためです。常に logits の形状を確認し、必要に応じてリサイズしてください。

  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, patch_size, hidden_size).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, patch_size, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

セマンティックセグメンテーションモデルの出力の基底クラス。

ImageClassifierOutput

class transformers.modeling_outputs.ImageClassifierOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 分類（または、config.num_labels==1 の場合は回帰）の損失。
  • logits (torch.Tensor、形状 (batch_size, config.num_labels)) — 分類スコア（config.num_labels==1 の場合は回帰スコア）（SoftMax 適用前）。
  • hidden_states (tuple(torch.Tensor)、任意、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます) — torch.Tensor のタプル（埋め込み層を持つモデルの場合、埋め込みの出力が 1 つ、各ステージの出力がそれぞれ 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size) です。各ステージの出力におけるモデルの隠れ状態（特徴マップとも呼ばれます）。
  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, patch_size, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

画像分類モデルの出力の基底クラス。

ImageClassifierOutputWithNoAttention

クラス transformers.modeling_outputs.ImageClassifierOutputWithNoAttention

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 分類（または、config.num_labels==1 の場合は回帰）の損失。
  • logits (torch.Tensor、形状 (batch_size, config.num_labels)) — 分類スコア（config.num_labels==1 の場合は回帰スコア）（SoftMax 適用前）。
  • hidden_states (tuple(torch.Tensor)、任意、output_hidden_states=True が渡された場合または config.output_hidden_states=True の場合に返されます)— torch.Tensor のタプル（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ、各ステージの出力用 1 つずつ）で、形状は (batch_size, num_channels, height, width) です。各ステージの出力におけるモデルの隠れ状態（特徴マップとも呼ばれます）。

画像分類モデルの出力の基底クラス。

DepthEstimatorOutput

class transformers.modeling_outputs.DepthEstimatorOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonepredicted_depth: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 分類（または、config.num_labels==1 の場合は回帰）の損失。
  • predicted_depth (torch.Tensor、形状 (batch_size, height, width)) — 各ピクセルの予測深度。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層を持つモデルの場合は埋め込みの出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, num_channels, height, width).

    各層の出力におけるモデルのHidden-states、および任意の初期埋め込み出力。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, patch_size, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

深度推定モデルの出力の基底クラス。

Wav2Vec2BaseModelOutput

class transformers.modeling_outputs.Wav2Vec2BaseModelOutput

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Noneextract_features: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)) — モデルの最終層の出力における隠れ状態のシーケンスです。
  • extract_features (torch.Tensor、形状 (batch_size, sequence_length, conv_dim[-1])) — モデルの最後の畳み込み層から抽出された特徴ベクトルのシーケンスです。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込みの出力用 1 つ + 各層の出力用 1 つ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力におけるモデルの隠れ状態。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

Wav2Vec2 の損失関数で訓練されたモデルの基底クラスです。

XVectorOutput

class transformers.modeling_outputs.XVectorOutput

< >

( loss: typing.Optional[torch.Tensor] = Nonelogits: typing.Optional[torch.Tensor] = Noneembeddings: typing.Optional[torch.Tensor] = Nonehidden_states: tuple[torch.Tensor, ...] | None = Noneattentions: tuple[torch.Tensor, ...] | None = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、labels が指定された場合に返されます) — 分類損失。
  • logits (torch.Tensor、形状 (batch_size, config.xvector_output_dim)) — AMSoftmax 適用前の分類用隠れ状態です。
  • embeddings (torch.Tensor、形状 (batch_size, config.xvector_output_dim)) — ベクトル類似度ベースの検索に使用される発話埋め込みです。
  • hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込みの出力用 1 つ + 各層の出力用 1 つ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力におけるモデルの隠れ状態。

  • attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmax後のアテンション重み。自己アテンションヘッド内で加重平均を計算するために使用されます。

Wav2Vec2ForXVectorの出力型。

Seq2SeqTSModelOutput

クラス transformers.modeling_outputs.Seq2SeqTSModelOutput

< >

( last_hidden_state: typing.Optional[torch.Tensor] = Nonepast_key_values: transformers.cache_utils.EncoderDecoderCache | None = Nonedecoder_hidden_states: tuple[torch.Tensor, ...] | None = Nonedecoder_attentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = Noneencoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor, ...] | None = Noneencoder_attentions: tuple[torch.Tensor, ...] | None = Noneloc: typing.Optional[torch.Tensor] = Nonescale: typing.Optional[torch.Tensor] = Nonestatic_features: typing.Optional[torch.Tensor] = None )

パラメータ

  • last_hidden_state (torch.Tensor の形状 (batch_size, sequence_length, hidden_size)) — モデルのデコーダーの最終層の出力における隠れ状態のシーケンス。

    past_key_valuesが使用されている場合、出力されるのは、形状(batch_size, 1, hidden_size)のシーケンスの最後の隠れ状態のみです。

  • past_key_values (EncoderDecoderCache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは EncoderDecoderCache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己注意ブロックおよび相互注意ブロック内のキーとバリューの事前計算済み隠れ状態（hidden-states）を保持しており、シーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

  • decoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるデコーダーのHidden-states、および任意の初期埋め込み出力。

  • decoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • encoder_last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンスです。
  • encoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力におけるエンコーダーのHidden-states、および任意の初期埋め込み出力。

  • encoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

  • loc (torch.Tensor、形状 (batch_size,) または (batch_size, input_size)、任意) — 各時系列のコンテキストウィンドウの値をシフトします。これにより、モデルへの入力が同じ大きさになるようにし、その後、元の大きさにシフトバックします。
  • scale (torch.Tensor、形状 (batch_size,) または (batch_size, input_size)、任意) — 各時系列のコンテキストウィンドウのスケール値。モデルへの入力値を同じ桁揃えにするために使用し、その後、元の桁揃えに戻すために使用されます。
  • static_features (torch.Tensor、形状 (batch_size, feature size)、任意) — バッチ内の各時系列の静的特徴量です。推論時に共変量にコピーされます。

時系列モデルのエンコーダー出力の基底クラスであり、シーケンシャルデコーディングを高速化できる事前計算済みヒドゥンステートも含まれます。

Seq2SeqTSPredictionOutput

クラス transformers.modeling_outputs.Seq2SeqTSPredictionOutput

< >

( loss: typing.Optional[torch.Tensor] = Noneparams: tuple[torch.Tensor, ...] | None = Nonepast_key_values: transformers.cache_utils.EncoderDecoderCache | None = Nonedecoder_hidden_states: tuple[torch.Tensor, ...] | None = Nonedecoder_attentions: tuple[torch.Tensor, ...] | None = Nonecross_attentions: tuple[torch.Tensor, ...] | None = Noneencoder_last_hidden_state: typing.Optional[torch.Tensor] = Noneencoder_hidden_states: tuple[torch.Tensor, ...] | None = Noneencoder_attentions: tuple[torch.Tensor, ...] | None = Noneloc: typing.Optional[torch.Tensor] = Nonescale: typing.Optional[torch.Tensor] = Nonestatic_features: typing.Optional[torch.Tensor] = None )

パラメータ

  • loss (torch.Tensor、形状 (1,)、任意、future_values が提供された場合に返されます) — 分布的損失。
  • params (torch.Tensor、形状 (batch_size, num_samples, num_params)) — 選択した分布のパラメータ。
  • past_key_values (EncoderDecoderCache, 省略可能, が返されるのは use_cache=True が渡された場合、または config.use_cache=True) — これは EncoderDecoderCache のインスタンスです。詳細については、 KVキャッシュのガイド.

    自己注意ブロックおよび相互注意ブロック内のキーとバリューの事前計算済み隠れ状態（hidden-states）を保持しており、シーケンシャルデコーディングを高速化するために使用できます（past_key_values 入力参照）。

  • decoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用1つ + 各層の出力用1つ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力における、デコーダーの隠れ状態。

  • decoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    自己アテンションヘッドにおける加重平均を計算するために使用される、アテンションのsoftmax後のデコーダーのアテンション重み。

  • cross_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    クロスアテンション層のアテンション重みは、アテンションのsoftmax適用後に計算され、クロスアテンションヘッドにおける加重平均の計算に使用されます。

  • encoder_last_hidden_state (torch.Tensor、形状 (batch_size, sequence_length, hidden_size)、任意) — モデルのエンコーダーの最終層の出力における、隠れ状態のシーケンスです。
  • encoder_hidden_states (tuple(torch.Tensor), 省略可能, が返されるのは output_hidden_states=True が渡された場合、または config.output_hidden_states=True) — のタプル torch.Tensor (（埋め込み層がある場合はその出力用 1 つ + 各層の出力用 1 つずつ）で、形状は (batch_size, sequence_length, hidden_size).

    各層の出力および初期埋め込み出力におけるエンコーダーの隠れ状態。

  • encoder_attentions (tuple(torch.Tensor), 省略可能, が返されるのは output_attentions=True が渡された場合、または config.output_attentions=True) — のタプル torch.Tensor (（各レイヤーごとに1つ）で、形状は (batch_size, num_heads, sequence_length, sequence_length).

    アテンションのsoftmaxを適用した後のエンコーダーのアテンション重み。自己アテンションヘッドにおける加重平均の計算に使用されます。

  • loc (torch.Tensor、形状 (batch_size,) または (batch_size, input_size)、任意) — 各時系列のコンテキストウィンドウの値をシフトします。これにより、モデルへの入力が同じ大きさになるようにし、その後、元の大きさにシフトバックします。
  • scale (torch.Tensor、形状 (batch_size,) または (batch_size, input_size)、任意) — 各時系列のコンテキストウィンドウのスケール値。モデルへの入力値を同じ桁揃えにするために使用し、その後、元の桁揃えに戻すために使用されます。
  • static_features (torch.Tensor、形状 (batch_size, feature size)、任意) — バッチ内の各時系列の静的特徴量です。推論時に共変量にコピーされます。

損失と選択された分布のパラメータも含まれる、時系列モデルのデコーダー出力の基底クラスです。

SampleTSPredictionOutput

クラス transformers.modeling_outputs.SampleTSPredictionOutput

< >

( sequences: typing.Optional[torch.Tensor] = None )

パラメータ

  • sequences (torch.Tensor、形状 (batch_size, num_samples, prediction_length) または (batch_size, num_samples, prediction_length, input_size)) — 選択した分布からサンプリングされた値です。

選択した分布からサンプリングされた値を含む、時系列モデルの予測出力の基底クラス。

Update on GitHub

←最適化 PEFT→