# Mengunduh dataset

## Perpustakaan terintegrasi

Jika dataset di Hub terhubung dengan [library yang didukung](./datasets-libraries), memuat dataset dapat dilakukan hanya dalam beberapa baris. Untuk informasi tentang cara mengakses dataset, Anda dapat mengklik tombol "Use this dataset" di halaman dataset untuk melihat caranya. Sebagai contoh, [`samsum`](https://huggingface.co/datasets/knkarthick/samsum?library=datasets) menunjukkan cara melakukannya dengan `datasets` di bawah ini.

## Menggunakan Perpustakaan Klien Hugging Face

Anda dapat menggunakan pustaka [`huggingface_hub`](/docs/huggingface_hub) untuk membuat, menghapus, memperbarui, dan mengambil informasi dari repositori. Misalnya, untuk mengunduh dataset `HuggingFaceH4/ultrachat_200k` dari baris perintah, jalankan

```bash
hf download HuggingFaceH4/ultrachat_200k --repo-type dataset
```

Lihat [dokumentasi unduhan HF CLI](https://huggingface.co/docs/huggingface_hub/en/guides/cli#download-a-dataset-a-space-or-a-kernel) untuk informasi lebih lanjut.

Anda juga dapat mengintegrasikan ini ke dalam pustaka Anda sendiri! Misalnya, Anda dapat dengan cepat memuat dataset CSV dengan beberapa baris menggunakan Pandas.
```py
from huggingface_hub import hf_hub_download
import pandas as pd

REPO_ID = "YOUR_REPO_ID"
FILENAME = "data.csv"

dataset = pd.read_csv(
    hf_hub_download(repo_id=REPO_ID, filename=FILENAME, repo_type="dataset")
)
```

## Menggunakan Git

Karena semua dataset di Hub adalah repositori Git yang didukung Xet, Anda dapat mengkloning dataset secara lokal dengan [memasang git-xet](./xet/using-xet-storage#git-xet) dan menjalankan:

```bash
git xet install
git lfs install
git clone git@hf.co:datasets/<dataset ID> # example: git clone git@hf.co:datasets/allenai/c4
```

Jika Anda memiliki akses tulis ke repositori dataset tertentu, Anda juga akan memiliki kemampuan untuk melakukan commit dan push revisi ke dataset tersebut.

Tambahkan kunci SSH publik Anda ke [pengaturan pengguna Anda](https://huggingface.co/settings/keys) untuk mendorong perubahan dan/atau mengakses repositori privat.

## Unduhan lebih cepat

Anda dapat menguji kecepatan unduhan dari CDN Hugging Face di [fast.hf.co](https://fast.hf.co). Ini menjalankan pengujian bandwidth singkat terhadap server edge HF terdekat, membantu Anda memahami throughput dasar Anda. Anda juga dapat mengukur kecepatan unduhan dari terminal menggunakan ekstensi CLI [`hf-speedtest`](https://github.com/julien-c/hf-speedtest):

```bash
hf extensions install julien-c/hf-speedtest
hf speedtest
```

Untuk transfer yang lebih cepat, Hub menggunakan [backend penyimpanan Xet](https://huggingface.co/docs/hub/en/xet/index) dengan konkurensi adaptif yang secara otomatis menyesuaikan stream paralel berdasarkan kondisi jaringan. Lihat [Unduhan model yang lebih cepat](./models-downloading#faster-downloads) untuk detail tentang opsi penyetelan seperti `HF_XET_HIGH_PERFORMANCE=1`.

## Menggunakan hf-mount

Untuk dataset besar, Anda dapat memount repo sebagai filesystem lokal dengan [hf-mount](https://github.com/huggingface/hf-mount) alih-alih mengunduh seluruh repo. File diambil secara lazy — hanya byte yang dibaca oleh kode Anda yang menyentuh jaringan. Berguna ketika workflow Anda mengharapkan path file lokal (mis. `tarfile`, `zipfile`, `imagefolder`) alih-alih iterator Python.

```bash
brew install hf-mount
hf-mount start repo datasets/stanfordnlp/imdb /tmp/imdb
```

Repos dimount sebagai read-only. Lihat [Mount as a Local Filesystem](./storage-buckets-access#mount-as-a-local-filesystem) untuk detail setup lengkap, opsi backend, dan caching.

## Mengunduh di balik proxy atau firewall

Jika jaringan Anda membatasi lalu lintas keluar melalui firewall atau proxy, mengunduh dataset membutuhkan lebih dari sekadar `huggingface.co`. Isi file disajikan dari hostname penyimpanan dan CDN yang terpisah, dan `load_dataset` / `hf download` akan gagal jika hostname tersebut tidak dapat dijangkau, bahkan ketika `huggingface.co` sendiri sudah diizinkan.

Izinkan hostname berikut (semuanya melalui HTTPS / port 443):

| Hostname                     | Tujuan                                     |
|------------------------------|---------------------------------------------|
| `huggingface.co`             | Hub API, metadata, dan pengalihan unduhan   |
| `cas-server.xethub.hf.co`    | API protokol Xet, unduh dan unggah (AS) |
| `cas-server.xethub-eu.hf.co` | API protokol Xet, unduhan dan unggahan (EU) |
| `transfer.xethub.hf.co`      | API unduhan penyimpanan Xet (AS)              |
| `transfer.xethub-eu.hf.co`   | API unduhan penyimpanan Xet (EU)              |
| `us.aws.cdn.hf.co`           | Edge CDN (AS)                               |
| `us.gcp.cdn.hf.co`           | Edge CDN (AS)                               |
| `cdn-lfs-us-1.hf.co`         | LFS CDN (AS)                                |
| `cdn-lfs-eu-1.hf.co`         | LFS CDN (EU)                                |

> [!TIP]
> Unduhan mengikuti pengalihan HTTP dari `huggingface.co` ke nama host ini, sehingga mengizinkan hanya `huggingface.co` saja tidak cukup. `ReadTimeoutError` (bukan error koneksi) di tengah unduhan biasanya berarti koneksi awal berhasil tetapi host penyimpanan atau CDN diblokir.

> [!TIP]
> Perilaku wildcard bergantung pada cara proxy Anda mencocokkan domain. Banyak proxy perusahaan memperlakukan entri allowlist sebagai pencocokan sufiks yang mencakup subdomain pada kedalaman apa pun. Jika proxy Anda melakukannya, opsi paling sederhana adalah mengizinkan sufiks `hf.co` dan `huggingface.co` — ini mencakup setiap endpoint penyimpanan dan CDN saat ini maupun di masa depan.
>
> Jika proxy Anda hanya mendukung wildcard berlabel tunggal (di mana `*.hf.co` cocok dengan `cdn-lfs-us-1.hf.co` tetapi tidak dengan yang lebih dalam seperti `us.aws.cdn.hf.co` atau `cas-server.xethub.hf.co`), masukkan hostname eksplisit dari tabel di atas ke allowlist. Perhatikan bahwa `*.xethub.hf.co` tidak mencakup host EU di bawah `xethub-eu.hf.co`, dan `*.cdn.hf.co` tidak mencakup dua label `us.aws.cdn.hf.co` / `us.gcp.cdn.hf.co`.

> [!WARNING]
> Hostname ini dapat berubah seiring dengan evolusi infrastruktur penyimpanan dan CDN kami. Jika kebijakan keamanan Anda mengizinkan, izinkan sufiks `hf.co` dan `huggingface.co` (semua subdomain) agar aturan Anda tidak rusak ketika endpoint tertentu berubah.

### Daftar yang dapat dibaca mesin

Hostname di atas juga dipublikasikan sebagai JSON di [`https://huggingface.co/.well-known/meta.json`](https://huggingface.co/.well-known/meta.json), sehingga Anda dapat membuat aturan proxy atau firewall darinya alih-alih menyalin tabel secara manual.

> [!WARNING]
> File berubah saat endpoint ditambahkan dan dihapus. Ambil file tersebut saat Anda membangun aturan Anda, bukan dengan mengunci salinannya.