📄️ المحوّلات وآلية الانتباه
دورة مميّزة عن المحوّلات وآلية الانتباه: البناء من الصفر ببايتورش، ثمّ عائلات BERT وGPT وT5. مدّة 8 ساعات، اختبار من 40 سؤالًا، وشهادة إتمام قابلة للتحقّق.
📄️ 1. حدود الشبكات التكرارية
الوحدة 1 من دورة المحوّلات المميّزة: لماذا يعرقل التسلسل الشبكات التكرارية، وكيف رفع انتباه Bahdanau عنق ناقل السياق، ثمّ كيف حسم Transformer الأمر في 2017.
📄️ 2. الاستعلام والمفتاح والقيمة
الوحدة 2 من دورة المحوّلات المميّزة: ثلاثيّة Query, Key, Value محسوبة بيدنا على ثلاث جتونات، ولماذا نقسم على جذر البُعد، وأوّل كتلة Transformer في المشروع الموجّه.
📄️ 3. الانتباه متعدّد الرؤوس
الوحدة 3 من دورة المحوّلات المميّزة: لماذا رأس واحد لا يكفي، كيف تُقسَّم الأبعاد بين الرؤوس بلا زيادة في الكلفة، وكتابة MultiHeadAttention يدويًّا في المشروع الموجّه.
📄️ 4. ترميز الموضع
الوحدة 4 من دورة المحوّلات المميّزة: لماذا يجهل الانتباه الترتيب، والحلّ الجيبي في ورقة Vaswani، والمواقع المتعلَّمة، ثمّ RoPE وتَعميم طول السياق.
📄️ 5. وصلات متبقّية وتسوية طبقية
الوحدة 5 من دورة المحوّلات المميّزة: Pre-norm مقابل Post-norm، LayerNorm مقابل BatchNorm، والشبكة الأمامية، وبناء كتلة ResidualBlock موحّدة للمشروع الموجّه.
📄️ 6. المرمّز: BERT
الوحدة 6 من دورة المحوّلات المميّزة: كتلة المرمّز الكاملة، تدريب BERT بقناع الجتون، وأفياد التصنيف والاستخراج على DistilBERT وCamemBERT وAraBERT.
📄️ 7. فاكّ الترميز: GPT
الوحدة 7 من دورة المحوّلات المميّزة: القناع السببي، توقّع الجتون التالي، توليد جشع مقابل عيّنة درجة حرارة، وذاكرة KV cache التي تُسرّع الاستدلال.
📄️ 8. المرمّز وفاكّ الترميز: T5
الوحدة 8 من دورة المحوّلات المميّزة: الانتباه المتقاطع، معمارية T5 وصيغة كلّ شيء نصّ إلى نصّ، ومتى نُفضّل مرمّزًا فقط أو فاكّ ترميز فقط أو كليهما.
📄️ 9. الكلفة التربيعية
الوحدة 9 من دورة المحوّلات المميّزة: من أين تأتي كلفة الذاكرة $n^2$، FlashAttention والتنفيذ الواعي للكاش، الأنماط الإفرادية والمنزلقة، ومقايضات السياق الطويل.
📄️ 10. تنفيذ كتلة Transformer كاملة
الوحدة 10 من دورة المحوّلات الممي ّزة: تجميع كتل المشروع الموجّه في نموذج seq2seq كامل، تدريب على ترجمة تواريخ، وعرض خرائط الانتباه، مع اختبارات وحدة للأشكال.
📄️ المراجعة والاختبار
خلاصة شاملة لدورة المحوّلات المميّزة: من عنق ناقل السياق إلى Transformer الكامل، مرورًا بQKV والرؤوس المتعدّدة وBERT وGPT وT5، ثمّ امتحان الأربعين سؤالًا.