📄️ Apache Spark ML
دورة عملية لبناء نماذج تعلّم آلي موزَّعة بـApache Spark MLlib على عشرات ملايين السطور. مدّتها سبع ساعات، تنتهي باختبار من 40 سؤالًا وشهادة قابلة للتحقّق.
📄️ 1. معمارية Spark
الوحدة 1 من دورة Apache Spark ML: كيف يُوزَّع الحساب بين محرّك ومنفّذين، ما هي الأقسام والمهامّ والمراحل، ومتى يكون Spark مبالَغًا فيه.
📄️ 2. RDD و DataFrame و Dataset
الوحدة 2 من دورة Apache Spark ML: التجريدات الثلاث التي تعرضها Spark، لماذا صار DataFrame هو الافتراضي، ودور محسِّن Catalyst.
📄️ 3. التحويلات والإجراءات
الوحدة 3 من دورة Apache Spark ML: التقييم الكسول وخطّة التنفيذ، تحويلات ضيّقة وأخرى واسعة، والخلط بين الأقسام.
📄️ 4. قراءة البيانات
الوحدة 4 من دورة Apache Spark ML: قراءة موزَّعة لملفّات CSV و Parquet، تحديد المخطَّط الصريح، التقسيم بعمود وتقليم الأقسام.
📄️ 5. محوّلات ومقدِّرات
الوحدة 5 من دورة Apache Spark ML: نموذج المحوّل والمقدِّر في MLlib، عمود المتّجهات، VectorAssembler و StringIndexer و OneHotEncoder و StandardScaler.
📄️ 6. خطوط ومعالجة موزّعة
الوحدة 6 من دورة Apache Spark ML: تغليف السلسلة في Pipeline واحد، شبكة معاملات مع CrossValidator، تجنُّب تسرُّب بيانات التحقّق.
📄️ 7. الخوارزميات وقيودها
الوحدة 7 من دورة Apache Spark ML: ما تعرضه MLlib من انحدار وأشجار وk-means و ALS، ما ينقصها كـXGBoost والشبكات العصبيّة، وكيف يُعوَّض.
📄️ 8. الضبط والأداء
الوحدة 8 من دورة Apache Spark ML: عدد الأقسام، repartition مقابل coalesce، عدم توازن المفاتيح، ذاكرة المنفّذين، وقراءة Spark UI.
📄️ 9. كتابة وتكامل
الوحدة 9 من دورة Apache Spark ML: كتابة Parquet مقسَّمة، أوضاع الكتابة، حفظ خطّ الإنتاج المُدرَّب وإعادة تحميله لِلتسجيل والجدولة.
📄️ 10. المشروع
الوحدة 10 من دورة Apache Spark ML: مشروع كامل يتوقّع تأخّرات الرحلات على 60 مليون سطر، مقارنة مع pandas على عيّنة، والوقت والكلفة والمكسب الفعليّ للتوزيع.
📄️ 11. المراجعة والاختبار
خلاصة كاملة لدورة Apache Spark ML: المعمارية والتقييم الكسول والصيغ العمودية والمحوّلات وخطوط الإنتاج والضبط، تليها معلومات الامتحان النهائي.