Transformers documentation
BARThez
このモデルは2020年10月23日にHF papersで公開され、2020年11月27日にHugging Face Transformersに貢献されました。
BARThez
BARThezは、フランス語タスク用に設計されたBARTモデルです。既存のフランス語BERTモデルとは異なり、BARThezは事前学習済みエンコーダーデコーダーを備えており、テキストの生成も可能です。このモデルは、フランス語コーパス上で多言語BARTの事前学習を継続することで、多言語バリアントのmBARThezとしても利用できます。
BARThezコレクションに、すべてのオリジナルのBARThezチェックポイントを見つけることができます。
このモデルは moussakam によって提供されました。 使用例の詳細については、BART のドキュメントを参照してください。
以下の例では、Pipeline、AutoModel、およびコマンドラインから<mask>トークンを予測する方法を示しています。
from transformers import pipeline
pipeline = pipeline(
task="fill-mask",
model="moussaKam/barthez",
device=0
)
pipeline("Les plantes produisent <mask> grâce à un processus appelé photosynthèse.")import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
"moussaKam/barthez",
)
model = AutoModelForMaskedLM.from_pretrained(
"moussaKam/barthez",
device_map="auto",
)
inputs = tokenizer("Les plantes produisent <mask> grâce à un processus appelé photosynthèse.", return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
predictions = outputs.logits
masked_index = torch.where(inputs['input_ids'] == tokenizer.mask_token_id)[1]
predicted_token_id = predictions[0, masked_index].argmax(dim=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print(f"The predicted token is: {predicted_token}")BarthezTokenizer
class transformers.BarthezTokenizer
< source >( vocab: str | dict | list | None = Nonebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'add_prefix_space = True**kwargs )
パラメータ
- bos_token (
str, 省略可, デフォルトは"<s>") — 事前学習時に使用されたシーケンス開始トークン。シーケンス分類器のトークンとしても使用できます。特殊トークンを用いてシーケンスを構築する場合、シーケンスの先頭に使用されるのはこのトークンではありません。使用されるのは
cls_tokenです。 - eos_token (
str, 省略可, デフォルトは"</s>") — シーケンスの終了トークンです。特殊トークンを用いてシーケンスを構築する場合、シーケンスの終了に使用されるのはこのトークンではありません。 使用されるのは
sep_tokenです。 - sep_token (
str、任意、デフォルトは"</s>") — 区切りトークンです。複数のシーケンスからシーケンスを構築する際に使用されます。例えば、シーケンス分類では2つのシーケンス、質問応答ではテキストと質問です。また、特殊トークンを用いて構築されたシーケンスの最後のトークンとしても使用されます。 - cls_token (
str、任意、デフォルトは"<s>") — シーケンス分類（トークンごとの分類ではなく、シーケンス全体の分類）を行う際に使用される分類トークンです。特殊トークンを用いて構築された場合、シーケンスの最初のトークンになります。 - unk_token (
str、任意、デフォルトは"<unk>") — 不明トークンです。語彙に存在しないトークンは ID に変換できず、代わりにこのトークンが設定されます。 - pad_token (
str、任意、デフォルトは"<pad>") — パディングに使用されるトークンです。例えば、長さが異なるシーケンスをバッチ処理する際に使用します。 - mask_token (
str、任意、デフォルトは"<mask>") — 値をマスクするために使用されるトークンです。これは、マスク言語モデリングでこのモデルを学習する際に使用されるトークンです。モデルが予測しようとするトークンです。 - vocab_file (
str, 任意) — トークナイザーをインスタンス化するために必要な語彙を含む、SentencePiece ファイル（通常は .spm 拡張子を持っています）。 - vocab (
str、dictまたはlist、任意) — カスタム語彙辞書。指定しない場合、vocab_file から語彙が読み込まれます。 - add_prefix_space (
bool、任意、デフォルトはTrue) — 入力に先頭スペースを追加するかどうか。これにより、先頭の単語を他の単語と同様に扱うことができます。
CamembertTokenizer および BartTokenizer を基に作成されました。SentencePiece をベースとした「fast」BARThez トークナイザーを構築します。
このトークナイザーは、主要なメソッドの大部分を含む PreTrainedTokenizerFast を継承しています。これらのメソッドに関する詳細については、このスーパークラスを参照してください。