# الانتباه الصفحي

توثّق هذه الصفحة دالة الانتباه الصفحي الأمامية المستخدمة في [التدريج المستمر](./continuous_batching).

## مسار Varlen

يتعامل نواة `flash_attn_varlen_func` مع دفعات ذات أطوال متغيرة. يُنصح بهذا المسار للدفعات التي تحتوي على عدد كبير من الطلبات أثناء مرحلة التمهيد (prefill).

### سلوك التخزين المؤقت

لا يتوفر في هذا النواة أي آلية للتفاعل مع ذاكرة التخزين المؤقت المقسّمة مباشرة، لذا يتم قراءة ذاكرة التخزين المؤقت وكتابتها يدوياً باستخدام طريقة `~PagedAttentionCache.update`. وقد يصبح هذا عنقاً زجاجة عندما تصبح طول التسلسل كبيراً.

### آلية الفهرسة

يستخدم النواة طول التسلسل الأقصى (`max_length_q`، `max_length_k`) والأطوال التراكمية للتسلسلات (`cu_seq_lens_q`، `cu_seq_lens_k`) لحساب الانتباه لكل تسلسل.

### مثال

فكّر في دفعة من 3 تسلسلات بطول الاستعلام `[10, 3, 1]` وطول المفتاح `[0, 1, 7]`:

```
cu_seq_lens_q = [0, 10, 13, 14]
cu_seq_lens_k = [0, 0, 1, 8]
max_length_q = 10
max_length_k = 7
```

أشكال المدخلات:

```
Q:      [1, 10+3+1, num_heads, head_dim] = [1, 14, num_heads, head_dim]
K or V: [1, 0+1+7, num_kv_heads, head_dim] = [1, 8, num_kv_heads, head_dim]
```

يُسند النواة كل رمز استعلام ومفتاح/قيمة إلى تسلسل باستخدام الأطوال التراكمية للتسلسلات:

```
Q request index: [r0, r0, r0, r0, r0, r0, r0, r0, r0, r0, r1, r1, r1, r2]
cu_seq_lens_q:   0____________________________________10__________13__14

K request index: [r1, r2, r2, r2, r2, r2, r2, r2]  (r0 has 0 K tokens)
cu_seq_lens_k: 0,0_1_______________________8
```

## مسار فك الترميز

يتعامل نواة `flash_attn_with_kvcache` مع دفعات فك الترميز فقط حيث تحتوي كل تسلسلة على رمز استعلام واحد بالضبط. هذا أكثر كفاءة من مسار الطول المتغير، لكنه لا يستطيع التعامل مع الدفعات التي تتضمن طلبات تعبئة مسبقة.

### سلوك التخزين المؤقت

يتفاعل هذا النواة مع ذاكرة التخزين المؤقت المقسّمة إلى صفحات باستخدام `block_table` للبحث في الذاكرة المؤقتة وتحديثها في مكانها. ولجدول الكتل شكل `(batch_size, max_blocks_per_seq)`، حيث تحتوي كل صف على المواقع الفيزيائية لكتل ذاكرة التخزين المؤقت الخاصة بطلب معين داخل متجه ذاكرة KV.

### آلية الفهرسة

يستخدم النواة `cache_seqlens` لاسترجاع طول ذاكرة التخزين المؤقت لكل تسلسل. ويفترض أن كل رمز استعلام ينتمي إلى تسلسل مختلف (رمز واحد لكل تسلسل).

### مثال

لنفترض أن لدينا دفعة من 3 تسلسلات، أطوال الاستعلام فيها `[1, 1, 1]` وأطوال المفاتيح فيها `[30, 32, 70]`. حجم كتلة الكاش هو 32، والحد الأقصى لعدد الكتل لكل تسلسل هو 4.

أطوال تسلسل ذاكرة التخزين المؤقت هي ببساطة أطوال المفاتيح:

```
cache_seqlens = [30, 32, 70]
```

شكل جدول الكتل هو `(3, 4)`. باستخدام عناوين أمثلة:

```
block_table = [[2, -1, -1, -1],
               [0,  1, -1, -1],
               [3,  5,  6, -1]]
```

تدلّ القيم `-1` على كتل غير مُخصَّصة.

- **التسلسل 0** (30 رمزًا مخزّنًا مؤقتًا): التخزين المؤقت في `KV_cache[2]`. يتسع الرمز الجديد (30 + 1 = 31 < 32).
- **التسلسل 1** (32 رمزًا مخزّنًا مؤقتًا): التخزين المؤقت في `KV_cache[0]` و`KV_cache[1]`. يُطلب كتلة ثانية لأن 32 + 1 > 32.
- **التسلسل 2** (70 رمزًا مخزّنًا مؤقتًا): التخزين المؤقت في `KV_cache[3]` و`KV_cache[5]` و`KV_cache[6]`. لاحظ أن الكتل ليست بالضرورة متتالية، وهذا هو الميزة الأساسية للتخزين المؤقت المقسّم إلى صفحات. يتسع الرمز الجديد في الكتلة الثالثة.

