Transformers documentation
자동 음성 인식
자동 음성 인식
자동 음성 인식(ASR)은 음성 신호를 텍스트로 변환하여 오디오 입력 시퀀스를 텍스트 출력으로 매핑합니다. Siri와 Alexa와 같은 가상 어시스턴트는 매일 사용자를 돕기 위해 ASR 모델을 사용하며, 실시간 자막 생성이나 회의 중 메모 작성과 같이 사용자 대상의 유용한 애플리케이션도 많이 있습니다.
이 가이드에서는 다음 내용을 보여 드립니다:
이 작업과 호환되는 모든 아키텍처와 체크포인트를 확인하려면 task-page를 확인하는 것을 권장합니다.
시작하기 전에 필요한 라이브러리가 모두 설치되어 있는지 확인하세요:
pip install transformers datasets evaluate jiwer soundfile librosa torchcodec
모델을 업로드하고 커뮤니티와 공유할 수 있도록 Hugging Face 계정에 로그인하는 것을 권장합니다. 프롬프트가 표시되면 로그인할 토큰을 입력하세요:
>>> from huggingface_hub import notebook_login
>>> notebook_login()MInDS-14 데이터셋 로드
🤗 Datasets 라이브러리에서 MInDS-14 데이터셋의 더 작은 부분 집합을 로드하는 것으로 시작합니다. 이렇게 하면 전체 데이터셋으로 더 많은 시간을 들여 학습하기 전에 실험을 해보고 모든 것이 정상적으로 작동하는지 확인할 수 있습니다.
>>> from datasets import load_dataset, Audio
>>> minds = load_dataset("PolyAI/minds14", name="en-US", split="train[:100]")데이터셋의 train 스플릿을 ~Dataset.train_test_split 메서드를 사용하여 학습 세트와 테스트 세트로 나눕니다:
>>> minds = minds.train_test_split(test_size=0.2)이제 데이터셋을 살펴보세요:
>>> minds
DatasetDict({
train: Dataset({
features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
num_rows: 16
})
test: Dataset({
features: ['path', 'audio', 'transcription', 'english_transcription', 'intent_class', 'lang_id'],
num_rows: 4
})
})데이터셋에는 lang_id와 english_transcription와 같이 유용한 정보가 많이 포함되어 있지만, 이 가이드에서는 audio와 transcription에 초점을 맞춥니다. remove_columns 메서드를 사용하여 다른 컬럼을 제거합니다:
>>> minds = minds.remove_columns(["english_transcription", "intent_class", "lang_id"])예제를 다시 검토해 보겠습니다:
>>> minds["train"][0]
{'audio': {'array': array([-0.00024414, 0. , 0. , ..., 0.00024414,
0.00024414, 0.00024414], dtype=float32),
'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602ba9e2963e11ccd901cd4f.wav',
'sampling_rate': 8000},
'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602ba9e2963e11ccd901cd4f.wav',
'transcription': "hi I'm trying to use the banking app on my phone and currently my checking and savings account balance is not refreshing"}두 개의 필드가 있습니다:
audio: 오디오 파일을 로드하고 리샘플링하기 위해 호출해야 하는 음성 신호의 1차원array.transcription: 대상 텍스트.
전처리
다음 단계는 오디오 신호를 처리하기 위해 Wav2Vec2 프로세서를 로드하는 것입니다:
>>> from transformers import AutoProcessor
>>> processor = AutoProcessor.from_pretrained("facebook/wav2vec2-base")MInDS-14 데이터셋의 샘플링 주파수는 8000Hz입니다(데이터셋 카드에서 이 정보를 확인할 수 있습니다). 따라서 사전 학습된 Wav2Vec2 모델을 사용하려면 데이터셋을 16000Hz로 리샘플링해야 합니다:
>>> minds = minds.cast_column("audio", Audio(sampling_rate=16_000))
>>> minds["train"][0]
{'audio': {'array': array([-2.38064706e-04, -1.58618059e-04, -5.43987835e-06, ...,
2.78103951e-04, 2.38446111e-04, 1.18740834e-04], dtype=float32),
'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602ba9e2963e11ccd901cd4f.wav',
'sampling_rate': 16000},
'path': '/root/.cache/huggingface/datasets/downloads/extracted/f14948e0e84be638dd7943ac36518a4cf3324e8b7aa331c5ab11541518e9368c/en-US~APP_ERROR/602ba9e2963e11ccd901cd4f.wav',
'transcription': "hi I'm trying to use the banking app on my phone and currently my checking and savings account balance is not refreshing"}위 transcription에서 볼 수 있듯이, 텍스트에는 대문자와 소문자가 혼합되어 있습니다. Wav2Vec2 토크나이저는 대문자만 학습되었으므로, 텍스트가 토크나이저의 어휘와 일치하도록 확인해야 합니다:
>>> def uppercase(example):
... return {"transcription": example["transcription"].upper()}
>>> minds = minds.map(uppercase)이제 다음을 수행하는 전처리 함수를 생성합니다:
audio컬럼을 호출하여 오디오 파일을 로드하고 리샘플링합니다.- 오디오 파일에서
input_values를 추출하고 프로세서로transcription컬럼을 토큰화합니다.
>>> def prepare_dataset(batch):
... audio = batch["audio"]
... batch = processor(audio["array"], sampling_rate=audio["sampling_rate"], text=batch["transcription"])
... batch["input_length"] = len(batch["input_values"][0])
... return batch전체 데이터셋에 전처리 함수를 적용하려면 🤗 Datasets의 map 함수를 사용합니다. num_proc 파라미터로 프로세스 수를 늘려 map의 속도를 높일 수 있습니다. remove_columns 메서드로 필요하지 않은 컬럼을 제거합니다:
>>> encoded_minds = minds.map(prepare_dataset, remove_columns=minds.column_names["train"], num_proc=4)🤗 Transformers에는 ASR용 데이터 콜레이터가 없으므로, DataCollatorWithPadding를 수정하여 예시 배치(batch)를 생성해야 합니다. 이 콜레이터는 텍스트와 라벨을 배치 전체가 아닌 해당 배치 내 가장 긴 요소의 길이에 맞게 동적으로 패딩하여 균일한 길이를 유지합니다. tokenizer 함수에서 padding=True를 설정하여 텍스트를 패딩하는 것도 가능하지만, 동적 패딩이 더 효율적입니다.
다른 데이터 콜레이터와 달리, 이 특정 데이터 콜레이터는 input_values와 labels에 서로 다른 패딩 방식을 적용해야 합니다:
>>> import torch
>>> from dataclasses import dataclass, field
>>> from typing import Any, Dict, List, Optional, Union
>>> @dataclass
... class DataCollatorCTCWithPadding:
... processor: AutoProcessor
... padding: Union[bool, str] = "longest"
... def __call__(self, features: list[dict[str, Union[list[int], torch.Tensor]]]) -> dict[str, torch.Tensor]:
... # split inputs and labels since they have to be of different lengths and need
... # different padding methods
... input_features = [{"input_values": feature["input_values"][0]} for feature in features]
... label_features = [{"input_ids": feature["labels"]} for feature in features]
... batch = self.processor.pad(input_features, padding=self.padding, return_tensors="pt")
... labels_batch = self.processor.pad(labels=label_features, padding=self.padding, return_tensors="pt")
... # replace padding with -100 to ignore loss correctly
... labels = labels_batch["input_ids"].masked_fill(labels_batch.attention_mask.ne(1), -100)
... batch["labels"] = labels
... return batchDataCollatorCTCWithPadding를 인스턴스화합니다:
>>> data_collator = DataCollatorCTCWithPadding(processor=processor, padding="longest")평가
학습 중에 메트릭을 포함하는 것은 모델 성능을 평가하는 데 도움이 되는 경우가 많습니다. 🤗 Evaluate 라이브러리를 사용하면 평가 방법을 빠르게 로드할 수 있습니다. 이 작업에서는 word error rate(WER) 메트릭을 로드합니다(메트릭 로드 및 계산에 대해 자세히 알아보려면 🤗 Evaluate quick tour를 참고하세요):
>>> import evaluate
>>> wer = evaluate.load("wer")이후 예측값과 라벨을 compute에 전달하여 WER을 계산하는 함수를 만듭니다:
>>> import numpy as np
>>> def compute_metrics(pred):
... pred_logits = pred.predictions
... pred_ids = np.argmax(pred_logits, axis=-1)
... pred.label_ids[pred.label_ids == -100] = processor.tokenizer.pad_token_id
... pred_str = processor.batch_decode(pred_ids)
... label_str = processor.batch_decode(pred.label_ids, group_tokens=False)
... wer_score = wer.compute(predictions=pred_str, references=label_str)
... return {"wer": wer_score}compute_metrics 함수가 이제 준비되었습니다. 학습을 설정할 때 다시 이 함수를 다루게 됩니다.
학습
Trainer를 사용하여 모델을 fine-tuning하는 방법에 대해 잘 모르신다면, 여기의 기본 튜토리얼을 참고하세요!
이제 모델 학습을 시작할 준비가 되었습니다! AutoModelForCTC로 Wav2Vec2를 로드하세요. ctc_loss_reduction 매개변수로 적용할 reduction을 지정합니다. 기본값인 summation 대신 average를 사용하는 것이 더 나은 경우가 많습니다:
>>> from transformers import AutoModelForCTC, TrainingArguments, Trainer
>>> model = AutoModelForCTC.from_pretrained(
... "facebook/wav2vec2-base",
... ctc_loss_reduction="mean",
... pad_token_id=processor.tokenizer.pad_token_id,
... )이 시점에서 남은 단계는 단 세 가지입니다:
- TrainingArguments에서 학습 하이퍼파라미터를 정의합니다. 필수 파라미터는 모델 저장 위치를 지정하는
output_dir하나뿐입니다.push_to_hub=True를 설정하여 모델을 Hub에 업로드할 수 있습니다(모델 업로드를 위해 Hugging Face에 로그인되어 있어야 합니다). 각 epoch가 끝나면 Trainer가 WER을 평가하고 학습 체크포인트를 저장합니다. - 모델, 데이터셋, 토크나이저, 데이터 콜레이터,
compute_metrics함수와 함께 학습 인수를 Trainer에 전달합니다. - train()을 호출하여 모델을 파인튜닝합니다.
>>> training_args = TrainingArguments(
... output_dir="my_awesome_asr_mind_model",
... per_device_train_batch_size=8,
... gradient_accumulation_steps=2,
... learning_rate=1e-5,
... warmup_steps=500,
... max_steps=2000,
... gradient_checkpointing=True,
... fp16=True,
... train_sampling_strategy="group_by_length",
... eval_strategy="steps",
... per_device_eval_batch_size=8,
... save_steps=1000,
... eval_steps=1000,
... logging_steps=25,
... load_best_model_at_end=True,
... metric_for_best_model="wer",
... greater_is_better=False,
... push_to_hub=True,
... report_to="trackio",
... )
>>> trainer = Trainer(
... model=model,
... args=training_args,
... train_dataset=encoded_minds["train"],
... eval_dataset=encoded_minds["test"],
... processing_class=processor,
... data_collator=data_collator,
... compute_metrics=compute_metrics,
... )
>>> trainer.train()학습이 완료되면 push_to_hub() 메서드를 사용하여 모델을 Hub에 공유하여 누구나 접근할 수 있도록 하세요:
>>> trainer.push_to_hub()자동 음성 인식(ASR)을 위해 모델을 파인튜닝하는 방법에 대한 더 자세한 예시를 보려면, 영어 ASR에 대한 이 블로그 게시물과 다국어 ASR에 대한 이 게시물을 참고하세요.
추론
좋습니다. 이제 모델을 fine-tuning 했으므로 추론에 사용할 수 있습니다!
추론을 실행할 오디오 파일을 로드합니다. 필요할 경우, 오디오 파일의 샘플링 레이트를 모델의 샘플링 레이트와 일치하도록 리샘플링하는 것을 잊지 마세요!
>>> from datasets import load_dataset, Audio
>>> dataset = load_dataset("PolyAI/minds14", "en-US", split="train")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=16000))
>>> sampling_rate = dataset.features["audio"].sampling_rate
>>> audio_file = dataset[0]["audio"]["path"]파인튜닝한 모델을 추론에 적용해 보는 가장 간단한 방법은 pipeline()에서 사용하는 것입니다. 모델로 자동 음성 인식용 pipeline을 생성한 후, 오디오 파일을 전달하세요:
>>> from transformers import pipeline
>>> transcriber = pipeline("automatic-speech-recognition", model="stevhliu/my_awesome_asr_minds_model")
>>> transcriber(audio_file)
{'text': 'I WOUD LIKE O SET UP JOINT ACOUNT WTH Y PARTNER'}전사 품질이 괜찮지만 더 개선할 여지가 있습니다! 더 나은 결과를 얻으려면 더 많은 예시로 모델을 fine-tuning 해보세요!
원하시는 경우 pipeline의 결과를 수동으로 재현할 수도 있습니다:
오디오 파일과 전사 내용을 전처리하고 input을 PyTorch 텐서로 반환하기 위해 프로세서를 로드합니다:
>>> from transformers import AutoProcessor
>>> processor = AutoProcessor.from_pretrained("stevhliu/my_awesome_asr_mind_model")
>>> inputs = processor(dataset[0]["audio"]["array"], sampling_rate=sampling_rate, return_tensors="pt")입력을 모델에 전달하고 logits를 반환합니다:
>>> from transformers import AutoModelForCTC
>>> model = AutoModelForCTC.from_pretrained("stevhliu/my_awesome_asr_mind_model")
>>> with torch.no_grad():
... logits = model(**inputs).logits가장 높은 확률을 가진 예측 input_ids를 가져오고, processor를 사용하여 예측된 input_ids를 다시 텍스트로 디코딩합니다:
>>> import torch
>>> predicted_ids = torch.argmax(logits, dim=-1)
>>> transcription = processor.batch_decode(predicted_ids)
>>> transcription
['I WOUL LIKE O SET UP JOINT ACOUNT WTH Y PARTNER']