このモデルは2021年4月5日にHF papersで公開され、2022年11月21日にHugging Face Transformersに貢献されました。

Audio Spectrogram Transformer

概要

Audio Spectrogram Transformer モデルは、Yuan Gong、Yu-An Chung、James Glass によって AST: Audio Spectrogram Transformer で提案されました。 Audio Spectrogram Transformer は、オーディオを画像（スペクトログラム）に変換することで、Vision Transformer をオーディオに適用します。このモデルは、オーディオ分類において最先端の結果を達成しています。

論文の抄録は以下の通りです。

過去10年間で、畳み込みニューラルネットワーク（CNN）は、音声スペクトログラムから対応するラベルへの直接的なマッピングを学習することを目的とするエンドツーエンドの音声分類モデルの主要な構成要素として広く採用されてきました。長距離のグローバルなコンテキストをよりよく捉えるために、CNNの上に自己注意機構を追加してCNN-アテンションハイブリッドモデルを構成するという最近のトレンドがあります。しかし、CNNへの依存が本当に必要なのか、また純粋にアテンションに基づくニューラルネットワークだけで音声分類において良好な性能を得られるのかは不明です。本論文では、音声分類のための最初の畳み込みなしで純粋にアテンションに基づくモデルであるAudio Spectrogram Transformer（AST）を導入することで、この問いに答えます。ASTを様々な音声分類ベンチマークで評価したところ、AudioSetで0.485 mAP、ESC-50で95.6%の精度、Speech Commands V2で98.1%の精度という新たな最良の結果（state-of-the-art）を達成しました。

このモデルはnielsrによって提供されました。 元のコードはこちらで確認できます。

使用のコツ

• 独自のデータセットで Audio Spectrogram Transformer (AST) をファインチューニングする際は、入力正規化（入力の平均が 0、標準偏差が 0.5 であることを保証する処理）を行うことをお勧めします。ASTFeatureExtractor がこの処理を担当します。なお、デフォルトでは AudioSet の平均と標準偏差が使用されます。著者が下流データセットの統計量をどのように計算しているかは、ast/src/get_norm_stats.py を確認してください。
• ASTには低い学習率が必要です（著者は、PSLA論文で提案したCNNモデルと比較して10分の1の学習率を使用しています）。また、収束が速いため、タスクに適した学習率と学習率スケジューラーを検索してください。

Scaled Dot Product Attention (SDPA) の使用

PyTorchには、torch.nn.functionalの一部として、ネイティブのスケーリングドットプロダクトアテンション（SDPA）オペレーターが含まれています。この関数は、入力や使用しているハードウェアに応じて適用できる複数の実装を備えています。詳細については、公式ドキュメントまたはGPU推論ページを参照してください。

torch>=2.1.1 の場合、実装が利用可能な場合はデフォルトで SDPA が使用されますが、from_pretrained() で attn_implementation="sdpa" を設定することで、SDPA の使用を明示的に指定することもできます。

from transformers import ASTForAudioClassification


model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593", attn_implementation="sdpa", device_map="auto")
...

最大限の高速化を実現するには、モデルを半精度（例: torch.float16 または torch.bfloat16）で読み込むことをお勧めします。

ローカル環境でのベンチマーク（A100-40GB、PyTorch 2.3.0、OS Ubuntu 22.04）において、float32 と MIT/ast-finetuned-audioset-10-10-0.4593 モデルを使用した場合、推論時に以下の速度向上を確認しました。

リソース

Audio Spectrogram Transformer の入門を支援するための、Hugging Face 公式およびコミュニティ（🌎 で示す）のリソースのリストです。

• 音声分類におけるASTを用いた推論を示すノートブックは、こちらで確認できます。
• ASTForAudioClassification は、この ノートブック でサポートされています。
• 関連項目: 音声分類。

ここにリソースを掲載していただくことを希望される場合は、Pull Request を開いてください。レビューいたします。リソースは、既存のリソースと重複するのではなく、新しいものを示すことが望ましいです。

ASTConfig

>>> from transformers import ASTConfig, ASTModel

>>> # Initializing a AST MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> configuration = ASTConfig()

>>> # Initializing a model (with random weights) from the MIT/ast-finetuned-audioset-10-10-0.4593 style configuration
>>> model = ASTModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

ASTFeatureExtractor

ASTModel

ASTForAudioClassification

>>> from transformers import AutoFeatureExtractor, ASTForAudioClassification
>>> from datasets import load_dataset
>>> import torch

>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
>>> dataset = dataset.sort("id")
>>> sampling_rate = dataset.features["audio"].sampling_rate

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")
>>> model = ASTForAudioClassification.from_pretrained("MIT/ast-finetuned-audioset-10-10-0.4593")

>>> # audio file is decoded on the fly
>>> inputs = feature_extractor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_ids = torch.argmax(logits, dim=-1).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
...

>>> # compute loss - target_label is e.g. "down"
>>> target_label = model.config.id2label[0]
>>> inputs["labels"] = torch.tensor([model.config.label2id[target_label]])
>>> loss = model(**inputs).loss
>>> round(loss.item(), 2)
...