Autentikasi

Untuk mengakses dataset privat atau bergerbang, Anda perlu melakukan autentikasi terlebih dahulu. Autentikasi bekerja dengan menyediakan token akses yang akan digunakan untuk mengautentikasi dan mengotorisasi akses Anda ke dataset bergerbang dan privat. Langkah pertama adalah membuat token akses untuk akun Anda. Hal ini dapat dilakukan dengan mengunjungi Hugging Face Settings - Tokens.

Ada tiga cara untuk menyediakan token: mengatur variabel lingkungan, meneruskan parameter ke pembaca, atau menggunakan CLI Hugging Face.

Variabel lingkungan

Jika Anda mengatur variabel lingkungan HF_TOKEN, Polars akan secara otomatis menggunakannya saat meminta dataset dari Hugging Face.

export HF_TOKEN="hf_xxxxxxxxxxxxx"

Parameter

Anda juga dapat secara eksplisit memberikan token akses ke pembaca (misalnya read_parquet) melalui parameter storage_options. Untuk ringkasan lengkap semua parameter, lihat panduan referensi API.

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

Sebagai alternatif, Anda dapat menggunakan Hugging Face CLI untuk autentikasi. Setelah berhasil masuk dengan hf auth login, token akses akan disimpan di direktori HF_HOME yang secara default adalah ~/.cache/huggingface. Polars kemudian akan menggunakan token ini untuk autentikasi.

Jika beberapa metode ditentukan, mereka diprioritaskan dalam urutan berikut:

• Parameter (storage_options)
• Variabel lingkungan (HF_TOKEN)
• CLI