Hugging FaceでのSpeechBrainの使用方法

speechbrain は、音声/オーディオ向けのオープンソースでオールインワンの会話ツールキットです。音声認識、話者認識、音声強化、音声分離、言語識別、マルチマイクロフォン信号処理など、最先端の音声技術のシステムを簡単に開発できる、単一の柔軟でユーザーフレンドリーなツールキットの作成を目標としています。

HubでのSpeechBrainの探索

モデルページの左側でフィルタリングすることで、speechbrainのモデルを見つけることができます。

Hub上のすべてのモデルには、以下の機能が備わっています:

1. 簡潔な説明付きの自動生成されたモデルカード。
2. 言語、ライセンス、論文などの情報を含み、検索可能性を高めるためのメタデータタグ。
3. ブラウザ上でモデルを直接試すことができるインタラクティブなウィジェット。
4. 推論リクエストを行うことを可能にするInference Providersウィジェット。

既存のモデルを使用する

speechbrain は、EncoderClassifier、EncoderClassifier、SepformerSeparation、SpectralMaskEnhancement など、異なるタスク向けの事前学習済みモデルを管理するためのさまざまなインターフェースを提供しています。これらのクラスには、Hub からモデルを読み込むために使用できる from_hparams メソッドがあります。

都市音の音認識の推論を実行するための例を以下に示します。

import torchaudio
from speechbrain.pretrained import EncoderClassifier

classifier = EncoderClassifier.from_hparams(
    source="speechbrain/urbansound8k_ecapa"
)
out_prob, score, index, text_lab = classifier.classify_file('speechbrain/urbansound8k_ecapa/dog_bark.wav')

特定のモデルの読み込み方法を確認するには、Use in speechbrain をクリックしてください。動作するスニペットが表示され、モデルを読み込むことができます。

追加のリソース

• SpeechBrainのウェブサイト。
• SpeechBrainのドキュメント。