المحوّلات وآلية الانتباه
المعمارية التي تقوم عليها نماذج اللغة الحديثة، مبنيّةً بلْبِنَة بعد لبنة ببايتورش، ثمّ مقروءةً في نماذج BERT وGPT وT5 عبر مكتبة Hugging Face.
مدّة الدورة: 8 ساعات
ما ستتعلّمه
- فهم لماذا تلاشى نموذج الشبكات التكرارية أمام الانتباه، وما الذي طرحته ورقة «Attention Is All You Need» في 2017
- حساب الانتباه بالاستعلام والمفتاح والقيمة على ثلاث جتونات بيدك، ثمّ التوسّع إلى الانتباه متعدّد الرؤوس
- بناء كتلة Transformer كاملة ببايتورش: ترميز الموضع، الوصلات المتبقّية، التسوية الطبقية، الشبكة الأمامية
- التمييز بين المرمّز (BERT)، وفاكّ الترميز (GPT)، والمرمّز-فاكّ الترميز (T5)، واختيار العائلة الأنسب للمهمّة
- تشخيص الكلفة التربيعية للانتباه، والتعامل مع السياقات الطويلة باستعمال FlashAttention والأنماط الإفرادية
المتطلّبات المسبقة
- الشبكات التكرارية وLSTM (الدورة 11)
- إتقان إطار عمل واحد على الأقلّ: TensorFlow (الدورة 08) أو PyTorch (الدورة 09)
- بايثون وNumPy، ومعرفة أساسيّة بالتفاضل والجبر الخطّي
وحدات الدورة
- حدود الشبكات التكرارية التي يتجاوزها الانتباه
- الاستعلام والمفتاح والقيمة: الانتباه خطوة بخطوة
- الانتباه متعدّد الرؤوس
- ترميز الموضع: المطلق ثمّ الدوّار
- الوصلات المتبقّية والتسوية الطبقية
- المرمّز: BERT ونماذج الفهم
- فاكّ الترميز: GPT والتوليد
- المرمّز وفاكّ الترميز: T5 والترجمة
- الكلفة التربيعية والانتباه الفعّال
- تنفيذ كتلة Transformer كاملة
المشروع الموجّه للدورة
يعبر الدورة بأكملها مشروع واحد: Transformer مكتوب بخطّ اليد ببايتورش في نحو مئتَي سطر. تُبنى كتلة الانتباه في الوحدة 2، ثمّ تُضاعف رؤوسها في الوحدة 3، ويُضاف ترميز الموضع في الوحدة 4، وتُغلَّف بالوصلات المتبقّية والتسوية في الوحدة 5. تُجمع الوحدات 6 و7 و8 كتلَ المرمّز وفاكّ الترميز، ثمّ يُدرَّب النموذج في الوحدة 10 على مهمّتين لُعبتَين: النسخ المعكوس ثمّ ترجمة تواريخ من قبيل «3 مارس 2026» إلى «2026-03-03». والغرض من هاتَين المهمّتَين إظهار خرائط الانتباه بوضوح كافٍ ليصير معناها مرئيًّا.
التقييم والشهادة
يُختتم المسار باختبار من 40 سؤالًا يشمل الوحدات العشر كلّها: حساب الانتباه بيدك، وتحديد أبعاد الرؤوس، واختيار العائلة المناسبة لمهمّة معيّنة، وتشخيص نسيان القناع السببي، وتقدير كلفة الذاكرة حسب طول السياق. وعند النجاح تُمنح شهادة الإتمام فورًا، ورقمها قابل للتحقّق من أيّ طرف على المنصّة.
أمّا الدورات المجّانية فتُختَم باختبار من خمسة أسئلة مع معاينة للشهادة دون منح فعلي.