Transformers documentation

SGLang

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SGLang

SGLang, büyük dil modelleri (LLM) için düşük gecikmeli ve yüksek verimli bir çıkarım motorudur. Ayrıca, ajan tabanlı iş akışları oluşturmak için bir ön uç dili de içerir.

Transformers modelleme arka ucunu yüklemek için model_impl="transformers" değerini ayarlayın.

import sglang as sgl

llm = sgl.Engine("meta-llama/Llama-3.2-1B-Instruct", model_impl="transformers")
print(llm.generate(["The capital of France is"], {"max_new_tokens": 20})[0])

Çevrimiçi sunum için sglang.launch_server komutuna --model-impl transformers parametresini geçirin.

python3 -m sglang.launch_server \
  --model-path meta-llama/Llama-3.2-1B-Instruct \
  --model-impl transformers \
  --host 0.0.0.0 \
  --port 30000

Transformers entegrasyonu

model_impl="transformers" ayarını yapmak, SGLang'ın yerel model eşleştirmesini atlayıp doğrudan Transformers modelini kullanmasını sağlar.

  1. PreTrainedConfig.from_pretrained(), modelin config.json dosyasını Hub'dan veya Hugging Face önbelleğinizden yükler.
  2. AutoModel.from_config(), yapılandırmaya (config) dayanarak model sınıfını çözümler.
  3. Yükleme sırasında _attn_implementation, "sglang" olarak ayarlanır. Bu, dikkat çağrılarını SGLang'ın RadixAttention çekirdekleri üzerinden yönlendirir.
  4. SGLang’ın paralel lineer sınıfı, tensor paralelliğini desteklemek için lineer katmanların yerini alır.
  5. load_weights işlevi, modeli safetensors dosyalarındaki ağırlıklarla doldurur.

Model, Transformers model yapısını kullanırken SGLang optimizasyonlarının tümünden faydalanır.

Uygun modellerin, SGLang'ın dikkat (attention) çalıştırmasını kontrol edebilmesi için _supports_attention_backend=True değerine sahip olması gerekir. Ayrıntılar için Çıkarım için uyumlu bir model arka ucu oluşturma kılavuzuna bakın.

Kaynaklar

Update on GitHub