인증

비공개 또는 게이트된 데이터셋에 액세스하려면 먼저 인증이 필요합니다. 인증은 액세스 토큰을 제공하여 게이트된 데이터셋 및 비공개 데이터셋에 대한 액세스를 인증하고 권한을 부여하는 방식으로 작동합니다. 첫 번째 단계는 계정에 액세스 토큰을 만드는 것입니다. Hugging Face Settings - Tokens을 방문하여 수행할 수 있습니다.

토큰을 제공하는 방법은 세 가지가 있습니다. 환경 변수 설정, 리더에 매개변수 전달, Hugging Face CLI 사용입니다.

환경 변수

환경 변수 HF_TOKEN를 설정하면, Polars는 Hugging Face에서 데이터셋을 요청할 때 이를 자동으로 사용합니다.

export HF_TOKEN="hf_xxxxxxxxxxxxx"

매개변수

storage_options 매개변수를 통해 리더(예: read_parquet)에 액세스 토큰을 명시적으로 제공할 수도 있습니다. 모든 매개변수에 대한 전체 개요는 API 참고 가이드를 확인하세요.

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

대신 Hugging Face CLI를 사용하여 인증할 수도 있습니다. hf auth login으로 로그인에 성공하면 액세스 토큰이 HF_HOME 디렉터리에 저장되며, 기본값은 ~/.cache/huggingface입니다. 이후 Polars는 이 토큰을 사용하여 인증합니다.

여러 메서드가 지정된 경우, 다음 순서로 우선순위가 부여됩니다:

• 매개변수 (storage_options)
• 환경 변수 (HF_TOKEN)
• CLI