Datasets documentation
데이터셋
데이터셋
🤗 Datasets는 오디오, 컴퓨터 비전, 자연어 처리(NLP) 작업에 사용되는 AI 데이터셋에 쉽게 접근하고 공유할 수 있도록 하는 라이브러리입니다.
단 한 줄의 코드로 데이터셋을 로드하고, 강력한 데이터 처리 및 스트리밍 메서드를 사용해 딥러닝 모델 학습에 필요한 데이터셋을 빠르게 준비할 수 있습니다. Apache Arrow 포맷을 기반으로 하여 메모리 제약 없이 제로-복사(Zero-copy) 읽기를 수행하므로, 대규모 데이터셋을 최적의 속도와 효율성으로 처리할 수 있습니다. 또한 Hugging Face Hub와 심도 있게 통합되어 있어, 보다 넓은 머신러닝 커뮤니티와 데이터셋을 쉽게 로드하고 공유할 수 있습니다.
오늘 Hugging Face Hub에서 데이터셋을 찾고 라이브 뷰어를 통해 그 내용을 자세히 살펴보세요.
튜토리얼
기본 사항을 학습하고 데이터셋을 로드하고, 액세스하고, 처리하는 데 익숙해지세요. 🤗 Datasets를 처음 사용하신다면 여기서 시작하세요!
사용자 가이드
특정 목표를 달성하는 데 도움이 되는 실용적인 가이드입니다. 🤗 Datasets를 사용하여 실제 문제를 해결하는 방법을 배우려면 다음 가이드를 확인해 보세요.
개념 가이드
데이터 형식, 캐시, 데이터셋 생성 방식 등 중요한 주제에 대한 심층적인 이해를 돕기 위한 고수준 설명을 제공합니다.
참고
🤗 Datasets의 클래스와 메서드가 작동하는 방식에 대한 기술적 설명입니다.