İlk (“guard”) kaynak deseni tarafından tembelce etkinleştirilen, eşleştirilmiş WeightRenaming dönüşümlerinin bir listesini uygular. İki yeniden adlandırmanın ara bir adı paylaştığı durumlarda (ör. norm0→norm1 ve norm1→norm2) bunu kullanın; böylece zaten dönüştürülmüş bir checkpoint (içinde norm1 ve norm2 olan ama norm0 içermeyen) yüklenirken yeniden adlandırmaların yanlışlıkla tekrar uygulanması önlenir.

NOT: source_patterns listesini, dönüştürülmüş checkpoint'te bulunmayan desenin başta geleceği şekilde sıralayın. State dict, sıralı anahtar sırasına göre işlenir; bu nedenle koruyucu desen, bağımlı desenlerden sözlük sırasına göre daha küçük olmalıdır. Aksi takdirde bağımlılar ilk geçişte atlanır ve asla yeniden denenmez.

Ağırlık dönüştürme işlemleri için temel sınıf.

Bir tensörü dim boyunca eşit boyutlu parçalara ayırır. Ayrıca, kaç tensörün parçalanacağı bilgisini okumak için num_shards_attribute bir yapılandırma alanıdır. Belirsiz sayıda tensör birleştirilirken faydalıdır.

dim boyutu boyunca tensörleri birleştirir. Ayrıca, keyfi sayıda tensör birleştiriliyorsa, num_shards_attribute, zıt Ops kullanılırken yeniden oluşturulacak tensör sayısını öğrenmek için okunacak bir yapılandırma alanıdır.

Bir tensör listesini ilk boyut boyunca tek bir tensöre birleştirir. EP veya TP için bunu açıkça tanımlıyoruz çünkü ne yaptığınızı bilmenizden emin olmanız gerekir!

Her grup için açık bölme boyutları kullanarak MergeModulelist'in tersi.

Karmaşık RoPE ağırlıklarını bölünmüş sin/cos biçimine dönüştürmek için gereken permütasyonu uygular.

Füzyonlu QKV üzerinde karmaşık RoPE ağırlıklarını bölünmüş sin/cos biçimine dönüştürmek için gereken permütasyonu uygular. PermuteForRope() + Concatenate() çağrısına eşdeğerdir ancak Permute işlemini yalnızca parçalanmış tensörlerin bir alt kümesine uygulamamıza olanak tanır.

NOT: bu dönüştürme, yalnızca çok modlu modellerdeki bir görme omurgasına uygulanır, çünkü config.vision_config alanını kontrol eder

Füzyonlu QKV üzerinde karmaşık RoPE ağırlıklarını bölünmüş sin/cos biçimine dönüştürmek için gereken permütasyonu uygular. Chunk() + PermuteForRope() çağrısına eşdeğerdir ancak Permute işleminin yalnızca parçalanmış tensörlerin bir alt kümesine uygulanmasına olanak tanır.

NOT: bu dönüştürme, yalnızca çok modlu modellerdeki bir görme omurgasına uygulanır, çünkü config.vision_config alanını kontrol eder

Gradyan denetleme noktası (gradient checkpointing) içeren katmanlar için temel sınıf.

Bu sınıf, bir katman için gradyan kontrol noktası (gradient checkpointing) işlevselliğini etkinleştirir. Varsayılan olarak gradyan kontrol noktası devre dışıdır (gradient_checkpointing = False). model.set_gradient_checkpointing() çağrıldığında, gradient_checkpointing = True olarak ayarlanarak ve _gradient_checkpointing_func öğesine bir kontrol noktası işlevi atanarak gradyan kontrol noktası etkinleştirilir.

Önemli:

use_reentrant=True ile gradyan denetimi kullanıldığında, gradyan gerektiren girdilerin (ör. gizli durumların) gradyanların doğru şekilde iletilmesi için anahtar kelime argümanları yerine konumsal argümanlar (*args) olarak geçirilmesi gerekir.

>>> # Correct - hidden_states passed as positional arg
>>> out = self.layer(hidden_states, attention_mask=attention_mask)

>>> # Incorrect - hidden_states passed as keyword arg
>>> out = self.layer(hidden_states=hidden_states, attention_mask=attention_mask)

İzin verilen dikkat işlevlerini takip eden sözlük benzeri bir nesne. register() çağrısıyla yeni bir dikkat işlevi kolayca ekleyebilirsiniz. Bir model, mevcut bir dikkat işlevini, örneğin sdpa'yi, yerel olarak geçersiz kılmak gerekiyorsa, modeling_<model>.py içinde bu sınıfın yeni bir örneğini tanımlaması ve bunu o örnekte beyan etmesi gerekir.

Model dinamik bir RoPE kullanıyorsa (yani ileri yönlü geçişte frekanslarını yeniden hesaplayabilen bir RoPE uygulaması) ileri yönlü geçişte RoPE parametrelerini güncellemek için dekoratör işlevi.

Radford ve ark. tarafından OpenAI GPT için tanımlanan (ve GPT-2'de de kullanılan) 1D konvolüsyon katmanı.

Temel olarak bir doğrusal katman gibi çalışır ancak ağırlıklar transpoze edilmiştir.

Bu fonksiyon, input_tensors girdisini chunk_dim boyutu boyunca chunk_size boyutunda daha küçük girdi tensörü parçalarına böler. Ardından, bellek tasarrufu sağlamak için her parçaya bağımsız olarak forward_fn katmanını uygular.

forward_fn, chunk_dim boyunca bağımsızsa bu fonksiyon, forward_fn'in input_tensors'a doğrudan uygulanmasıyla aynı sonucu verir.

# rename the usual forward() fn to forward_chunk()
def forward_chunk(self, hidden_states):
    hidden_states = self.decoder(hidden_states)
    return hidden_states


# implement a chunked forward function
def forward(self, hidden_states):
    return apply_chunking_to_forward(self.forward_chunk, self.chunk_size_lm_head, self.seq_len_dim, hidden_states)

Doğrusal bir katmanı budayın ve yalnızca index içindeki girişleri koruyun.

Başları kaldırmak için kullanılır.