Transformers documentation
커뮤니티
시작하기
기본 클래스
모델
Preprocessors
추론
Pipeline API
Generate API
최적화
모델과 대화하기
서빙
학습
하드웨어
양자화
생태계 통합
리소스
API
커뮤니티
이 페이지는 커뮤니티에서 개발한 🤗 Transformers 관련 리소스를 모아 제공합니다.
커뮤니티 리소스
| 리소스 | 설명 | 저자 |
|---|---|---|
| Hugging Face Transformers 용어집 플래시카드 | Transformers Docs Glossary를 기반으로 한 플래시카드 세트입니다. 장기적인 지식 유지에 특화된 오픈 소스 크로스 플랫폼 앱인 Anki를 사용하여 쉽게 학습하고 복습할 수 있는 형태로 구성되었습니다. 플래시카드 사용법에 대한 소개 영상을 참고하세요. | Darigov Research |
커뮤니티 노트북
| 노트북 | 설명 | 저자 | |
|---|---|---|---|
| 학습된 Transformer를 미세 조정하여 가사 생성 | 좋아하는 아티스트의 스타일로 가사를 생성하는 방법: GPT-2 모델 파인튜닝 | Aleksey Korshuk | |
| TPU에서 T5 학습 | Transformers와 Nlp를 사용하여 SQUAD에서 T5를 학습하는 방법 | Suraj Patil | |
| 분류 및 다중 선택을 위한 T5 파인튜닝 | PyTorch Lightning을 사용하여 텍스트-텍스트 형식으로 T5를 분류 및 다중 선택 작업에 대해 미세 조정하는 방법 | Suraj Patil | |
| 새로운 데이터셋과 언어로 DialoGPT 파인튜닝 | 새로운 데이터셋에서 오픈 다이얼로그 대화형 챗봇을 위해 DialoGPT 모델을 파인튜닝하는 방법 | 네이던 쿠퍼 | |
| Reformer를 활용한 긴 시퀀스 모델링 | Reformer를 사용하여 500,000 토큰까지 긴 시퀀스로 학습하는 방법 | Patrick von Platen | |
| 요약 작업을 위한 BART 파인튜닝 | blurr를 사용하여 fastai로 BART를 요약 작업에 대해 미세 조정하는 방법 | Wayde Gilliam | |
| 누군가의 트윗으로 사전 학습된 Transformer를 미세 조정하기 | 좋아하는 Twitter 계정의 스타일로 트윗을 생성하는 방법: GPT-2 모델 파인튜닝 | Boris Dayma | |
| Weights & Biases로 🤗 Hugging Face 모델 최적화 | Hugging Face와 W&B 통합을 보여주는 완전한 튜토리얼 | Boris Dayma | |
| Longformer 사전 학습 | … | Iz Beltagy | |
| Longformer를 QA로 Fine-tune | QA 작업용 longformer 모델 파인튜닝 방법 | Suraj Patil | |
| 🤗nlp로 모델 평가하기 | nlp를 사용하여 TriviaQA에서 longformer를 평가하는 방법 | Patrick von Platen | |
| T5를 감정 스팬 추출을 위해 파인튜닝하기 | PyTorch Lightning을 사용하여 텍스트-텍스트 형식으로 T5를 감정 스팬 추출에 대해 미세 조정하는 방법 | 로렌조 암필 | |
| 다중 클래스 분류를 위한 DistilBert 파인튜닝 | PyTorch로 DistilBert를 다중 클래스 분류에 맞게 미세 조정하는 방법 | Abhishek Kumar Mishra | |
| 멀티 라벨 분류를 위한 BERT 파인튜닝 | PyTorch를 사용하여 BERT를 다중 레이블 분류에 대해 미세 조정하는 방법 | Abhishek Kumar Mishra | |
| 요약 작업을 위한 T5 파인튜닝 | PyTorch로 T5를 요약 작업에 fine-tune하고 WandB로 실험을 추적하는 방법 | Abhishek Kumar Mishra | |
| Transformers에서 Dynamic Padding / Bucketing으로 Fine-Tuning 속도 향상 | dynamic padding / bucketing를 사용하여 미세 조정을 2배로 가속하는 방법 | Michael Benesty | |
| Reformer를 Masked Language Modeling을 위해 사전 학습하기 | 양방향 셀프 어텐션 레이어를 사용하여 Reformer 모델을 학습하는 방법 | Patrick von Platen | |
| Sci-BERT 확장 및 세부 조정 | AllenAI의 사전 학습된 SciBERT 모델의 어휘를 CORD 데이터셋으로 확장하고 파이프라인을 구성하는 방법 | Tanmay Thakur | |
| Trainer API를 사용하여 BlenderBotSmall을 요약 작업에 대해 Fine Tune하기 | Trainer API를 사용하여 커스텀 데이터셋에서 요약 작업을 위해 BlenderBotSmall을 파인튜닝하는 방법 | Tanmay Thakur | |
| Electra를 Fine-tune하고 Integrated Gradients로 해석하기 | Electra를 감정 분석에 대해 미세 조정하고 Captum Integrated Gradients로 예측을 해석하는 방법 | Eliza Szczechla | |
| Trainer 클래스로 비영어권 GPT-2 모델 파인튜닝 | Trainer 클래스를 사용하여 비영어권 GPT-2 모델을 미세 조정하는 방법 | 필립 슈미트 | |
| 멀티 라벨 분류 작업을 위한 DistilBERT 모델 파인튜닝 | 멀티 라벨 분류 작업을 위해 DistilBERT 모델을 파인튜닝하는 방법 | Dhaval Taunk | |
| ALBERT를 문장 쌍 분류를 위해 미세 조정하기 | ALBERT 모델 또는 다른 BERT 기반 모델을 문장 쌍 분류 작업에 대해 미세 조정하는 방법 | 나디르 엘 마누지 | |
| 감정 분석을 위한 Roberta 파인튜닝 | 감정 분석을 위한 Roberta 모델 파인튜닝 방법 | Dhaval Taunk | |
| 질문 생성 모델 평가 | seq2seq transformer 모델이 생성한 질문에 대한 답변의 정확도는 얼마나 될까요? | 파스칼 졸레코 | |
| CNN/Dailymail에서 BERT를 활용한 인코더-디코더 요약 | CNN/Dailymail에서 요약 작업을 위해 google-bert/bert-base-uncased 체크포인트로 EncoderDecoderModel을 워밍 스타트하는 방법 | Patrick von Platen | |
| BBC XSum에서 Encoder-Decoder 요약에 RoBERTa 활용하기 | BBC/XSum에서 요약 작업을 위해 FacebookAI/roberta-base 체크포인트로 공유 EncoderDecoderModel을 워밍 스타트하는 방법 | Patrick von Platen | |
| 순차적 질의응답(SQA)에서 TAPAS 미세 조정 | Sequential Question Answering(SQA) 데이터셋에서 tapas-base 체크포인트를 사용하여 TapasForQuestionAnswering를 파인튜닝하는 방법 | Niels Rogge | |
| TabFact(Table Fact Checking)에서 TAPAS 평가 | 🤗 datasets와 🤗 transformers 라이브러리를 조합하여 tapas-base-finetuned-tabfact 체크포인트로 파인튜닝된 TapasForSequenceClassification를 평가하는 방법 | Niels Rogge | |
| 번역을 위한 mBART 파인튜닝 | Seq2SeqTrainer를 사용하여 힌디어에서 영어로 번역하는 mBART를 파인튜닝하는 방법 | Vasudev Gupta | |
| FUNSD(양식 이해 데이터셋)에서 LayoutLM을 파인튜닝합니다 | 스캔된 문서에서 정보 추출을 위해 FUNSD 데이터셋으로 LayoutLMForTokenClassification를 미세 조정하는 방법 | Niels Rogge | |
| DistilGPT2 파인튜닝 및 텍스트 생성 | DistilGPT2를 파인튜닝하고 텍스트를 생성하는 방법 | Aakash Tripathi | |
| 최대 8K 토큰으로 LED 파인튜닝 | pubmed에서 LED를 장거리 요약(fine-tune)하는 방법 | Patrick von Platen | |
| Arxiv에서 LED 평가 | 장거리 요약에서 LED를 효과적으로 평가하는 방법 | Patrick von Platen | |
| RVL-CDIP(문서 이미지 분류 데이터셋)에서 LayoutLM 파인튜닝 | RVL-CDIP 데이터셋에서 스캔된 문서 분류를 위해 LayoutLMForSequenceClassification을 미세 조정하는 방법 | Niels Rogge | |
| GPT2 조정을 사용한 Wav2Vec2 CTC 디코딩 | CTC 시퀀스를 언어 모델 보정으로 디코딩하는 방법 | Eric Lam | |
| Trainer 클래스를 사용하여 BART를 두 언어 요약에 대해 미세 조정하기 | Trainer 클래스를 사용하여 BART를 두 언어로 요약하도록 미세 조정하는 방법 | Eliza Szczechla | |
| Trivia QA에서 Big Bird 평가 | Trivia QA에서 긴 문서 질의응답으로 BigBird를 평가하는 방법 | Patrick von Platen | |
| Wav2Vec2를 사용하여 비디오 캡션 생성 | Wav2Vec로 오디오를 전사하여 모든 비디오에서 YouTube 자막을 만드는 방법 | Niklas Muennighoff | |
| PyTorch Lightning을 사용하여 CIFAR-10에서 Vision Transformer를 Fine-tune하기 | HuggingFace Transformers, Datasets 및 PyTorch Lightning을 사용하여 CIFAR-10에서 Vision Transformer(ViT)를 미세 조정하는 방법 | Niels Rogge | |
| 🤗 Trainer를 사용하여 CIFAR-10에서 Vision Transformer를 Fine-tune하기 | HuggingFace Transformers, Datasets 및 🤗 Trainer를 사용하여 CIFAR-10에서 Vision Transformer(ViT)를 fine-tune하는 방법 | Niels Rogge | |
| 엔티티 타이핑 데이터셋인 Open Entity에서 LUKE 평가 | Open Entity 데이터셋에서 LukeForEntityClassification을 평가하는 방법 | Ikuya Yamada | |
| 관계 추출 데이터셋인 TACRED에서 LUKE 평가 | TACRED 데이터셋에서 LukeForEntityPairClassification를 평가하는 방법 | Ikuya Yamada | |
| 중요한 NER 벤치마크인 CoNLL-2003에서 LUKE 평가 | CoNLL-2003 데이터셋에서 LukeForEntitySpanClassification를 평가하는 방법 | Ikuya Yamada | |
| PubMed 데이터셋에서 BigBird-Pegasus 평가 | PubMed 데이터셋에서 BigBirdPegasusForConditionalGeneration을 평가하는 방법 | Vasudev Gupta | |
| Wav2Vec2를 활용한 음성 감정 분류 | MEGA 데이터셋에서 감정 분류를 위해 사전 학습된 Wav2Vec2 모델을 활용하는 방법 | Mehrdad Farahani | |
| DETR를 사용하여 이미지에서 객체 감지 | 학습된 DetrForObjectDetection 모델을 사용하여 이미지에서 객체를 감지하고 어텐션을 시각화하는 방법 | Niels Rogge | |
| 커스텀 객체 감지 데이터셋에서 DETR 파인튜닝 | 커스텀 객체 감지 데이터셋에서 DetrForObjectDetection을 파인튜닝하는 방법 | Niels Rogge | |
| 명사 인식을 위한 T5 파인튜닝 | T5를 Named Entity Recognition 작업에 대해 fine-tune하는 방법 | Ogundepo Odunayo | |
| MLflow와 PEFT를 사용하여 QLoRA로 오픈소스 LLM 파인튜닝 | QLoRA와 PEFT를 사용하여 메모리 효율적인 방식으로 LLM을 파인튜닝하고, MLflow를 사용하여 실험 추적을 관리하는 방법 | Yuki Watanabe |