الدرس 5 — لماذا تفشل النماذج
معظم مشاريع تعلّم الآلة لا تصل إلى الإنتاج، ومعظم ما يصل يعطي أقلّ ممّا وعد. والسبب في الأغلبية الساحقة ليس الخوارزمية. هذه هي الأسباب الحقيقية، مرتّبة بحسب تكرارها.
السبب الأول: تسريب البيان ات
سبق في الدرس الثالث، ويعود هنا لأنّه السبب الأول بلا منافس.
النموذج يبلغ 97 % في التقييم و64 % في الإنتاج. والفارق ليس سوء حظّ، بل معلومة كانت متاحة أثناء التقييم وغير متاحة عند الاستخدام الحقيقي.
الفحص العملي: خُذ كلّ عمود واسأل — «في اللحظة التي سأحتاج فيها إلى التنبّؤ فعلاً، هل يكون هذا العمود معروفاً؟». كلّ عمود لا يمرّ هذا الاختبار يُحذف، بلا نقاش، ومهما كانت أهمّيته في الترتيب.
السبب الثاني: بيانات الإنتاج ليست بيانات التدريب
النموذج تعلّم من عيّنة، ويعمل على العالم. وإذا اختلف التوزيعان، يفشل بنيوياً.
هذا يحدث لأسباب مملّة وشائعة:
- بيانات التدريب مصفّاة: دُرِّب على ملفّات مكتملة، والإنتاج مليء بالنواقص.
- مصدر مختلف: صور مدرَّبة بكاميرا واحدة وإنتاج بعشرة أنواع كاميرات.
- سكّان مختلفون: مستشفى جامعي في التدريب وعيادة ريفية في الاستخدام.
- انحياز الاختيار: نموذج قروض دُرِّب على من حصلوا على قروض فقط — أي على من اجتاز مرشِّحاً سابقاً، لا على كلّ المتقدّمين.
الحالة الأخيرة خبيثة تحديداً، لأنّ البيانات صحيحة تماماً وممثِّلة لشيء آخر غير ما تظنّ.
درّب مصنّفاً يحاول التمييز بين بيانات التدريب وبيانات الإنتاج. إذا نجح بسهولة، فالتوزيعان مختلفان بشكل مؤكّد، وقد عرفت ذلك قبل النشر. وإذا فشل، فهذه إشارة جيّدة.
السبب الثالث: الانزياح — العالم يتغيّر بعدك
النموذج مجمَّد لحظة تدريبه، والعالم لا يتوقّف. وهذا الانزياح، وله ثلاثة أشكال يجب التمييز بينها لأنّ علاجها مختلف:
| النوع | ما يتغيّر | مثال |
|---|---|---|
| انزياح البيانات | توزيع المدخلات | تركيبة العملاء تتحوّل نحو الشباب |
| انزياح المفهوم | العلاقة بين المدخل والهدف | أنماط الاحتيال تتطوّر لتفادي الكشف |
| انزياح الوسوم | نسب الفئات | معدّل التعثّر يتضاعف في أزمة اقتصادية |
الأخطر هو انزياح المفهوم، لأنّ مدخلاتك تبدو طبيعية تماماً بينما القاعدة نفسها تغيّرت. وحالة خاصّة تستحقّ التنبيه: في كشف الاحتيال، النموذج نفسه يسبّب الانزياح، لأنّ المحتالين يتعلّمون تفادي ما يُكشف. هذا انزياح خصومي، وهو دائم بحكم طبيعته.
والعلاج معروف ولا يُطبَّق كثيراً: المراقبة وإعادة التدريب الدورية، وهو موضوع دورة MLOps.
السبب الرابع: المقياس لا يمثّل القيمة
نموذج بدقّة ممتازة ولا قيمة له. يحدث ذلك حين يُحسَّن مقياس تقني لا علاقة له بالنتيجة المطلوبة.
- نموذج توصية يعظّم النقرات، فيتعلّم عرض عناوين مثيرة، فترتفع النقرات وتنخفض المشاهدة الفعلية والرضا.
- نموذج تنبّؤ بالطلب يقلّل الخطأ المتوسّط، والمشكلة الحقيقية هي نقص المخزون في أيّام الذروة فقط، وهي أيّام قليلة يذوب خطؤها في المتوسّط.
- نموذج تسرّب دقيق جدّاً في التنبّؤ، لكنّه يتنبّأ متأخّراً بما لا يتيح أيّ تدخّل مفيد.
ما القرار الذي سيتغيّر بسبب هذا النموذج، ومن سيتّخذه، وفي أيّ لحظة؟ إذا لم يكن للجواب شكل واضح، فالمشروع سيُنتج لوحة مؤشّرات جميلة لا يستخدمها أحد. وهذه أكثر نهايات مشاريع تعلّم الآلة شيوعاً.
أسباب أصغر تتكرّر كثيراً
- وسوم خاطئة: نموذج يتعلّم أخطاء الوسم بأمانة. فحص عيّنة من الوسوم يدوياً يكشف مشكلات مذهلة أحياناً.
- بيانات قليلة جدّاً: ثلاثمئة مثال لمسألة معقّدة. المشكلة في العدد لا في المعمارية.
- فرط تخصيص لم يُكشف: بسبب استخدام مجموعة الاختبار في القرارات.
- فارق بين التدريب والخدمة: المعالجة في التدريب تختلف عن المعالجة في الإنتاج، ولو بخطوة تقييس منسيّة. خطّ المعالجة الموحَّد يحلّ هذا.
- لا مالك للنموذج: يعمل ستّة أشهر، يتدهوّر، ولا أحد مسؤول عن ملاحظة ذلك.
في ثلاث جمل
تسريب البيانات هو السبب الأول للفشل، ويُكشف بسؤال واحد: هل سيكون هذا العمود معروفاً لحظة التنبّؤ الحقيقي؟ ثم اختلاف توزيع الإنتاج عن التدريب، ثم الانزياح لأنّ العالم يتغيّر بعد التدريب بينما النموذج مجمّد. والسبب الرابع أنّ المقياس المحسَّن لا يمثّل القيمة، ولهذا يُسأل قبل التدريب: أيّ قرار سيتغيّر، ومن يتّخذه، ومتى.
التالي — الدرس 6: الملخّص والأسئلة الشائعة ←