الوحدة 9 — الكلفة التربيعية والانتباه الفعّال

كلّ ما بنيناه في الوحدات السابقة يعمل بشكل رائع على تسلسلات من بضع مئات من الجتونات. لكنّ عصر النماذج التي تدّعي 32k جتونًا و128k وأكثر يواجه عقبة رياضية بحتة: مصفوفة الانتباه $Q K^{\top}$ حجمها $n \times n$، ومعها تكبر الذاكرة والحوسبة بشكل تربيعي في طول التسلسل.

هذه الوحدة تفكّك هذا القيد بالأعداد، ثمّ تعرض الحلول التي جعلت السياقات الطويلة ممكنة: FlashAttention الذي أعاد كتابة الانتباه بوعي للكاش، والأنماط الإفرادية والمنزلقة التي تُضحّي بجزء من الانتباه لتربح الكثير من الذاكرة.

من أين يأتي $n^2$ بالضبط

في كلّ طبقة، من أجل حزمة $B$ ورؤوس $h$ وبُعد رأس $d_k$ وطول تسلسل $n$:

• مصفوفة الأوزان $A = \text{softmax}(Q K^{\top} / \sqrt{d_k})$ لها حجم $(B, h, n, n)$.
• حوسبة الجداء: نحو $2 \cdot B \cdot h \cdot n \cdot n \cdot d_k$ عملية.
• الذاكرة: $4 \cdot B \cdot h \cdot n \cdot n$ بايتات في float32، أو $2 \cdot B \cdot h \cdot n \cdot n$ في float16.

خذ حالة عمليّة: حزمة $B = 4$، رؤوس $h = 12$، بُعد رأس $d_k = 64$، طول $n = 8192$، float16.

• الذاكرة للأوزان: $2 \times 4 \times 12 \times 8192 \times 8192 = 6{,}44$ جيغابايت. لطبقة واحدة.
• في نموذج بـ32 طبقة: 206 جيغابايت للأوزان فحسب.

هذا الحساب يُوضّح لماذا لا يمكن تشغيل الانتباه الساذج على 8192 جتونًا بحزمة 4 على GPU من 80 جيغابايت: مصفوفة الأوزان وحدها لا تدخل.

FlashAttention: احسب دون أن تكتب الأوزان

FlashAttention، الذي طرحه Dao وزملاؤه في 2022 ثمّ 2023 (v2)، يقلب الاستراتيجية. الملاحظة الأساسية: الذاكرة لا الحوسبة هي العنق.

في وحدة معالجة رسومية حديثة (A100، H100)، الحساب أسرع بعشرات المرّات من نقل البيانات من الذاكرة الرئيسية (HBM) إلى الذاكرة الفائقة السرعة داخل النواة (SRAM). خوارزميات كتيرة على الانتباه تكتب مصفوفة $A$ الضخمة في HBM، ثمّ تعيد قراءتها. FlashAttention يُلغي هذا التخزين تمامًا: يُجزّئ التسلسل إلى كتل صغيرة، ويحسب الانتباه كتلةً كتلةً في SRAM، ولا يخرج إلى HBM إلّا المخرج النهائي.

النتيجة العددية:

• الذاكرة: من $O(n^2)$ إلى $O(n)$ ذاكرة إضافية بجانب $Q, K, V$. مصفوفة الأوزان لا تُخزَّن أبدًا بالكامل.
• الحوسبة: عدد العمليات لم يتغيّر — ما زال $O(n^2 d_k)$ — لكنّ زمن الجدار قد انخفض بمعدّل 2 إلى 4 مرّات لأنّ التبادل مع HBM اختفى.
• الدقّة: FlashAttention ليس تقريبًا. يُنتج نفس نتيجة الانتباه القياسي، إلى دقّة float بضع مراتب.

في بايتورش الحديث، FlashAttention مبني داخل torch.nn.functional.scaled_dot_product_attention:

import torch
import torch.nn.functional as F

Q = torch.randn(4, 12, 8192, 64, device="cuda", dtype=torch.float16)
K = torch.randn(4, 12, 8192, 64, device="cuda", dtype=torch.float16)
V = torch.randn(4, 12, 8192, 64, device="cuda", dtype=torch.float16)

with torch.backends.cuda.sdp_kernel(enable_flash=True, enable_math=False):
    out = F.scaled_dot_product_attention(Q, K, V, is_causal=True)
print(out.shape)     # torch.Size([4, 12, 8192, 64])

الاختلاف مع الانتباه المكتوب بيدنا هو أنّ SDPA يختار خلف الكواليس النواة المناسبة (Flash أو الإفرادي على الإفرادي أو الرياضي) حسب توفّر العتاد.

FlashAttention يتطلّب bf16 أو fp16

لا تعمل FlashAttention على float32 في أغلب التجهيزات، لأنّها تستفيد من نوى Tensor Cores التي تقبل float16 وbfloat16 فقط. على تدريب float32 كامل الدقّة، sdp_kernel يعود تلقائيًّا إلى التنفيذ الرياضي — وهذا يعني أنّك تدفع الذاكرة $O(n^2)$ من جديد. تحقّق دائمًا من dtype قبل أن تعوّل على تسريع FlashAttention.

أنماط الانتباه الإفرادية

الحلّ الآخر يقلب الجانب الرياضي بدل الجانب الحوسبي: إذا كنت لن تحتاج كلّ الأوزان $n^2$، فلا تحسبها. تُشكّل أنماط الانتباه الإفرادية عائلة كاملة من التقريبات:

• نافذة منزلقة (sliding window): كلّ جتون ينظر إلى $w$ جتونات على يمينه ويساره فقط. الكلفة: $O(n \cdot w)$ بدل $O(n^2)$. تُستعمل في Longformer وMistral.
• انتباه مُستقبِل (dilated): كلّ جتون ينظر إلى الجتون $i \pm 1, i \pm 2, i \pm 4, i \pm 8, \dots$ (باعد أُسّي). سياق طويل نظريًّا بكلفة $O(n \log n)$.
• انتباه شامل + محلّي: عدد قليل من الجتونات «العالمية» ترى كلّ شيء (مثل CLS)، والباقي محلّي فقط. تُستعمل في BigBird وLongformer.
• BigBird: مزيج بين نافذة منزلقة، جتونات عشوائية قليلة، وجتونات عالمية. أثبت نظريًّا أنّه لا يفقد قدرات المصفوفة الكاملة على تقريب أيّ دالّة كثيرة الحدود.

بايتورش يدعم القناع الإفرادي عبر attn_mask في scaled_dot_product_attention:

# نافذة منزلقة بعرض 128 جتونًا
n, window = 1024, 128
mask = torch.zeros(n, n, dtype=torch.bool)
for i in range(n):
    lo = max(0, i - window)
    hi = min(n, i + window + 1)
    mask[i, lo:hi] = True
mask = mask.to("cuda")
# مخصّص للتنفيذ الرياضي حاليًّا (Flash يتطلّب أقنعة مبسّطة)

المقايضة الحقيقية للسياقات الطويلة

قد يبدو أنّ الحلّ سهل: نأخذ Mistral أو Longformer، ونحصل على 32k جتون مجّانًا. الواقع أدقّ:

• الأنماط الإفرادية تُقلّل الاعتماد على المحتوى البعيد. جتون في الموقع 30000 لا يستطيع أن يرى جتونًا في الموقع 100 في نافذة عرضها 4096. لكنّ بعض المهمّات تحتاج هذا الربط (استرجاع من الوثيقة، أسئلة تُشير إلى المقدّمة).
• إبرة في كومة قشّ (needle in a haystack): اختبار وضع معلومة صغيرة داخل نصّ طويل والسؤال عنها. النماذج ذات الانتباه الكامل + FlashAttention تنجح جيّدًا، والنماذج ذات الانتباه المنزلق تفشل حسب موضع الإبرة.
• الاستدلال الفعّال أهمّ من التدريب الفعّال: نموذج مُدرَّب على 32k قد يعمل نظريًّا على 128k في الاستدلال، لكن أداءه يتراجع سريعًا خارج نطاق التدريب. تِقنيّات إطالة السياق (YaRN، LongRoPE) تُعالج جزءًا من هذه المشكلة.

قاعدة اختيار عمليّة تعتمد على الطول:

$n$	الاختيار الأمثل
$< 2{,}000$	انتباه كامل + FlashAttention. المشكلة غير موجودة.
$2{,}000$ إلى $8{,}000$	انتباه كامل مع FlashAttention إلزامي، حزمة صغيرة إن لزم.
$8{,}000$ إلى $32{,}000$	انتباه كامل ممكن مع تدرّج مسدّس (gradient checkpointing) وflash.
$> 32{,}000$	ابحث عن نماذج مُدرَّبة على هذا الطول بأنماط إفرادية، أو تقسيم النصّ.

تِقنيّات مكمّلة للذاكرة

مع الانتباه الفعّال، تبقى ذواكر النموذج الأخرى: الأوزان، وحالات المُحسِّن، والتنشيطات الوسيطة. عدّة تِقنيّات ضروريّة معه:

• تدرّج مسدّس (gradient checkpointing): لا نحفظ التنشيطات الوسيطة لكلّ الطبقات، بل نُعيد حسابها في الانتشار الخلفي. يُوفّر ذاكرة كبيرة على حساب زمن تدريب زائد بمعدّل 30%.
• ZeRO (DeepSpeed): تُقسِّم الأوزان وحالات المُحسِّن على عدّة GPU. يُصغّر البصمة على كلّ GPU إلى $1/N$.
• الدقّة المختلطة (bf16, fp16): تُنصّف الذاكرة تلقائيًّا. bfloat16 مُفضَّل على float16 لأنّه لا يعاني من underflow في التدرّجات.
• LoRA وquantization: أدوات الأفياد الفعّال، تحدّث فقط جزءًا صغيرًا من المعاملات.

هذه الأدوات ليست موضوع هذه الدورة، لكنّها الملحقات الطبيعيّة عند العمل على السياق الطويل.

في الخلاصة

• كلفة الانتباه ذاكرةً هي $O(n^2)$ لكلّ طبقة، وهي المُقيّد الأوّل للسياقات الطويلة؛ 8k جتون بحزمة 4 يستهلك عدّة جيغابايت لطبقة واحدة.
• FlashAttention يُلغي تخزين مصفوفة الأوزان في HBM باعتماد حساب كتلي في SRAM؛ يُوفّر ذاكرة $O(n)$ ويُسرّع بمعدّل 2 إلى 4، دون فقدان دقّة.
• الأنماط الإفرادية (نافذة منزلقة، مُستقبِل، BigBird) تُخفّض الكلفة إلى $O(n \cdot w)$ أو $O(n \log n)$، مقابل تضحية بالاعتماد البعيد.
• الاختيار العملي يعتمد على $n$: أقلّ من 8k يكفيه انتباه كامل مع Flash؛ أكثر من ذلك يستلزم بحثًا واعيًا عن معماريّات أو حِيَل ذاكرة إضافيّة.

الوحدة التالية: نجمع كلّ الكتل التي بنيناها ونُدرّب Transformer كاملًا على مهمّة ترجمة التواريخ، ونعرض خرائط الانتباه الحقيقيّة التي يتعلّمها.