النماذج اللغوية الكبيرة
قوانين التوسّع، والضبط الدقيق، والمواءمة، وفكّ الترميز، ونافذة السياق، والهلوسة، والتكميم، والتقييم، والكلفة: كلّ ما يلزم لبناء مساعد ذكاء اصطناعي جاد ونشره في الإنتاج.
مدّة الدورة: 9 ساعات
ما ستتعلّمه
- تمييز ما يغيّره التوسّع فعلًا عمّا يشيع من أوهام حول القدرات الطارئة
- قراءة قوانين Chinchilla لاختيار حجم النموذج المناسب لبياناتك المتاحة
- التمييز بين النموذج الأساس والنموذج المُضبَط على التعليمات، واختيار الأنسب لكلّ مهمّة
- فهم المواءمة عبر RLHF وDPO، وحدود ما تضمنه
- ضبط درجة الحرارة وtop-k وtop-p حسب طبيعة الاستخدام
- مقاومة الهلوسة بترسيخ الإجابات في مصادر مُتحقَّق منها
- خدمة نموذج بـ 7 إلى 8 مليارات وسيط بكلفة يتحمّلها مشروع متوسّط
- بناء جدول تقييم داخلي يعكس الحاجة الحقيقية للمستعمل
المتطلّبات المسبقة
- المحوّلات (الدورة 12) والانتباه الذاتي والمُشفِّرات وفكّ الترميز
- معالجة اللغة الطبيعية (الدورة 13): التمثيل الشعاعي والترميز الفرعي
- بايثون وPyTorch، ومكتبة
transformersبمستوى الاستخدام
وحدات الدورة
- ما يغيّره التوسّع فعلًا
- التدريب المسبق: البيانات والرموز وقوانين التوسّع
- الضبط الدقيق الموجَّه بالتعليمات
- المواءمة: RLHF وأساليب التفضيلات
- فكّ الترميز: درجة الحرارة وtop-k وtop-p
- نافذة السياق وإدارة الذاكرة
- الهلوسة: ال أسباب والحلول
- التكميم والخدمة بكلفة أقلّ
- التقييم: المعايير المرجعية والأحكام البشرية
- الكلفة والاستجابة وخيارات المعمارية
المشروع الموجِّه للدورة
يعبر الدورة كلّها فيلٌ واحد: نشر مساعد دعم عملاء لشركة متوسّطة بلغة جمهورها. وفي كلّ وحدة قرار من قرارات هذا المشروع يُفصَل: أيّ نموذج مفتوح أو مِلكي نختار، وهل نضبطه، وكيف نضبط توليده، وأيّ نافذة سياق، وكيف نحدّ من الهلوسة، وكيف نُخدّم بكلفة معقولة، وكيف نقيس قبل الإنتاج. والنموذج المرجعي المفتوح المُتلاعَب به في الكود شبكةٌ من 7 إلى 8 مليارات وسيط برخصة سمحة، تُخدَّم بـvLLM أو llama.cpp حسب السياق.
التقييم والشهادة
يُختَم المسار باختبار من 40 سؤالًا يشمل الوحدات العشر كلّها، وتُمنَح عند النجاح شهادة إتمام قابلة للتحقّق برقمها على المنصّة.