Transformers documentation
SGLang
SGLang
SGLang, büyük dil modelleri (LLM) için düşük gecikmeli ve yüksek verimli bir çıkarım motorudur. Ayrıca, ajan tabanlı iş akışları oluşturmak için bir ön uç dili de içerir.
Transformers modelleme arka ucunu yüklemek için model_impl="transformers" değerini ayarlayın.
import sglang as sgl
llm = sgl.Engine("meta-llama/Llama-3.2-1B-Instruct", model_impl="transformers")
print(llm.generate(["The capital of France is"], {"max_new_tokens": 20})[0])Çevrimiçi sunum için sglang.launch_server komutuna --model-impl transformers parametresini geçirin.
python3 -m sglang.launch_server \ --model-path meta-llama/Llama-3.2-1B-Instruct \ --model-impl transformers \ --host 0.0.0.0 \ --port 30000
Transformers entegrasyonu
model_impl="transformers" ayarını yapmak, SGLang'ın yerel model eşleştirmesini atlayıp doğrudan Transformers modelini kullanmasını sağlar.
- PreTrainedConfig.from_pretrained(), modelin
config.jsondosyasını Hub'dan veya Hugging Face önbelleğinizden yükler. - AutoModel.from_config(), yapılandırmaya (config) dayanarak model sınıfını çözümler.
- Yükleme sırasında
_attn_implementation,"sglang"olarak ayarlanır. Bu, dikkat çağrılarını SGLang'ın RadixAttention çekirdekleri üzerinden yönlendirir. - SGLang’ın paralel lineer sınıfı, tensor paralelliğini desteklemek için lineer katmanların yerini alır.
- load_weights işlevi, modeli safetensors dosyalarındaki ağırlıklarla doldurur.
Model, Transformers model yapısını kullanırken SGLang optimizasyonlarının tümünden faydalanır.
Uygun modellerin, SGLang'ın dikkat (attention) çalıştırmasını kontrol edebilmesi için
_supports_attention_backend=Truedeğerine sahip olması gerekir. Ayrıntılar için Çıkarım için uyumlu bir model arka ucu oluşturma kılavuzuna bakın.
Kaynaklar
- SGLang belgeleri, Transformers'ı bir arka uç olarak kullanmak için daha fazla kullanım örneği ve ipucu içerir.
- Transformers backend integration in SGLang blog yazısı, bu entegrasyonun neyi mümkün kıldığını açıklar.