الدرس 1 — لماذا تفشل النماذج بعد النشر
نموذج بدقّة 94% على مجموعة الاختبار. يُنشَر. وبعد أربعة أشهر، الشكاوى تتراكم والأداء الفعلي عند 71%. ولا شيء في الكود تغيّر.
هذه القصّة متكرّرة إلى حدّ الملل، وهذا الدرس يشرح كلّ أسبابها.
الفرق الجوهري عن البرمجيات العادية
برنامج تقليدي يعمل اليوم كما عمل أمس: المنطق ثابت، والمخرجات محدَّدة، والعطل ظاهر عادةً.
ونظام تعلّم آلي يختلف في نقطة واحدة تغيّر كلّ شيء: سلوكه يعتمد على البيانات، والبيانات تتغيّر. والنموذج لم يتعطّل؛ الواقع الذي يقيسه تحرّك عنه.
في البرمجيات التقليدية، الكود يتدهور إذا لم يُصَن. وفي تعلّم الآلة، النموذج يتدهور حتى إن لم يُلمَس الكود. وكلّ ممارسات MLOps مشتقّة من هذه الحقيقة الواحدة.
انزياح البيانات
التعريف: توزيع المدخلات في الإنتاج صار مختلفاً عن توزيع بيانات التدريب.
الأمثلة الواقعية:
- حملة تسويقية جذبت فئة عمرية جديدة كانت غائبة عن بيانات التدريب.
- التوسّع إلى بلد آخر بسلوكيات شرائية مختلفة.
- تطبيق جوّال جديد غيّر نسبة المستخدمين على الهاتف.
- مستشعر بُدِّل بطراز آخر يقيس بمعايرة مختلفة.
- الموسم تغيّر، والسلوك تغيّر معه.
وهذا النوع قابل للكشف بلا معرفة النتائج الحقيقية: تراقب توزيعات المدخلات وتقارنها بالتدريب، وهو ما يفصّله درس المراقبة.
انزياح المفهوم
التعريف: العلاقة بين المدخل والمخرج نفسها تغيّرت. المدخلات تبدو طبيعية تماماً، ومعناها اختلف.
الأمثلة:
- نموذج كشف احتيال: المحتالون تعلّموا وغيّروا أساليبهم. وهذا انزياح خصامي، أي مقصود.
- نموذج تسرّب العملاء: منافس جديد غيّر أسباب المغادرة.
- نموذج توصية: الأذواق تحوّلت.
- نموذج تسعير: التضخّم غيّر معنى كلّ رقم.
وهذا النوع أخطر بكثير، لأنّ المدخلات لا تشير إلى أيّ مشكلة. المراقبة على التوزيعات لا تكشفه، ولا يُكشَف إلّا بمقارنة التوقّعات بالنتائج الحقيقية عندما تتوفّر.
انحراف التدريب عن الخدمة
سبب فشل تقني، وهو من أشيع الأسباب وأصعبها تشخيصاً.
المشكلة: تُحسب السمة بطريقة في التدريب وبطريقة مختلفة قليلاً في الإنتاج.
- في التدريب حُسِب المتوسّط على 30 يوماً، وفي الإنتاج على 7.
- في التدريب استُخدِمت وحدة قياس، وفي الإنتاج أخرى.
- في التدريب مُلِئت القيم الناقصة بالمتوسّط، وفي الإنتاج بصفر.
- في التدريب كانت المنطقة الزمنية محلّية، وفي الإنتاج عالمية.
- في التدريب استُخدِمت بيانات لم تكن متاحة بعد وقت التوقّع فعلياً.
النتيجة: النموذج يستقبل مدخلات مختلفة عمّا تعلّم عليه، فيتوقّع بشكل خاطئ بلا أيّ رسالة خطأ. والحلّ البنيوي: كود واحد لحساب السمات يُستخدَم في التدريب والاستنتاج، وهذه هي الفائدة الأساسية لمخزن السمات.
الفشل الصامت: أخطر خصوصي ة
هذه أهمّ فقرة في الدرس.
خدمة معطّلة تعطي رمز خطأ، فيُنبَّه الفريق في دقائق. ونموذج متدهور يعطي أجوبةً بثقة، بالشكل نفسه والزمن نفسه، وكلّ لوحات المراقبة التقنية خضراء.
النتيجة أنّ التدهور قد يستمرّ أشهراً قبل أن يُكتشَف، وغالباً ما يُكتشَف من شكوى عميل أو من مراجعة مالية، لا من نظام مراقبة.
ولهذا فإنّ مراقبة الجاهزية والزمن والأخطاء — وهي مراقبة كافية لخدمة عادية — غير كافية لنموذج. يجب مراقبة مضمون المدخلات والمخرجات، لا صحّة الخدمة فقط.
حلقات التغذية الراجعة
فشل أذكى وأخفى: النموذج يؤثّر في العالم، فيفسد بياناته المستقبلية.
نموذج توصية يعرض منتجات معيّنة، فتُشترى أكثر، فتؤكّد بيانات التدريب التالية أنّها الأفضل، فتُعرَض أكثر. والمنتجات التي لم تُعرَض لم تُشترَ، فتبدو سيّئة. النموذج صنع نبوءته بنفسه.
مثال أوضح في الأثر الاجتماعي: نموذج توزيع الدوريات الأمنية يرسل دوريات إلى منطقة، فتُرصَد فيها جرائم أكثر لأنّ الرصد أكثر، فتؤكّد البيانات أنّها منطقة عالية الجريمة، فتزيد الدوريات. الحلقة تتصاعد بلا صلة بالواقع الأصلي.
والاكتشاف يقتضي وعياً بالمشكلة، والمعالجة تقتضي حجز جزء من الحركة للاستكشاف خارج توصيات النموذج، وتحليل ما لم يُعرَض لا ما عُرِض فقط.
أسباب تشغيلية أخرى
| السبب | العرض |
|---|---|
| تغيّر مصدر بيانات فوق النظام | حقل صار فارغاً أو غيّر تنسيقه |
| تحديث مكتبة | فرق طفيف في المعالجة يفسد التوقّعات |
| نموذج خاطئ في النشر | نسخة قديمة تعمل بلا أن يلاحظ أحد |
| تسرّب بيانات في التدريب | دقّة ممتازة في الاختبار وسيّئة في الواقع |
| عدم تطابق التوقيت | سمة لم تكن متاحة وقت التوقّع الفعلي |
وآخر سببين مهمّان: تسرّب البيانات يعني أنّ النموذج لم يكن جيّداً أصلاً، وأنّ الرقم الممتاز كان وهماً. ودرس التقييم يشرحه.
في ثلاث جمل
الفرق الجوهري عن البرمجيات التقليدية أنّ النموذج يتدهور حتى إن لم يُلمَس الكود، لأنّ سلوكه يعتمد على بيانات تتغيّر، وكلّ ممارسات MLOps مشتقّة من هذه الحقيقة. وانزياح البيانات يُكشَف بمراقبة التوزيعات، وانزياح المفهوم أخطر لأنّ المدخلات تبدو طبيعية ولا يُكشَف إلّا بمقارنة التوقّعات بالنتائج الحقيقية، وانحراف التدريب عن الخدمة أشيع سبب تقني ويُمنَع بكود واحد لحساب السمات. والخصوصية الأخطر هي الفشل الصامت: النموذج المتدهور يجيب بثقة ولوحات المراقبة التقنية كلّها خضراء، فيستمرّ التدهور أشهراً حتى يكتشفه عميل.
التالي — الدرس 2: قابلية إعادة الإنتاج ←