الدرس 4 — المراقبة
الفشل الصامت من الدرس الأول يجعل المراقبة أهمّ ممارسة في MLOps. وهذا الدرس عن كيفية بنائها.
الطبقات الأربع
المراقبة الجيّدة أربع طبقات، وكلّ واحدة تكشف نوعاً مختلفاً من الفشل.
1. الصحّة التقنية
الأساس المشترك مع أيّ خدمة: الجاهزية، وزمن الاستجابة، ومعدّل الأخطاء، واستهلاك الموارد.
هذه لازمة وغير كافية أبداً. نموذج متدهور تماماً يعطي مؤشّرات تقنية مثالية.
2. توزيعات المدخلات
هنا تبدأ خصوصية تعلّم الآلة. تراقب توزيع كلّ سمة مهمّة في الإنتاج، وتقارنه بتوزيعها في التدريب.
ما يُرصَد: متوسّط سمة انزاح، وفئة جديدة ظهرت في متغيّر نوعي، ونسبة القيم الناقصة زادت، وسمة صارت ثابتة (وهذا يعني عادةً أنّ مصدرها تعطّل).
وهذه الطبقة تعمل بلا معرفة النتائج الحقيقية، وهذه ميزتها الأساسية: تكشف انزياح البيانات في حينه.
3. توزيع المخرجات
مؤشّر قويّ ورخيص: هل توزيع توقّعات النموذج يتغيّر؟
نموذج كان يصنّف 3% من العمليات كمريبة صار يصنّف 11%. لا نعرف بعد أيّهما صحيح، ونعرف بالتأكيد أنّ شيئاً تغيّر ويجب النظر فيه.
وهذه الطبقة أرخص طبقة في التنفيذ وأعلى مردود لكلّ جهد.
4. مقاييس الأعمال
الحكم النهائي: هل النظام يحقّق غايته؟ الخسائر المتجنَّبة، ومعدّل التحويل، ونسبة التصعيد إلى إنسان، ورضا المستخدم.
هذه الطبقة تُظهر ما تخفيه كلّ المقاييس التقنية: نموذج بمقاييس تقنية سليمة قد يكون بلا قيمة للعمل.
مشكلة تأخّر النتائج الحقيقية
هذه أصعب مسألة عملية في مراقبة النماذج، وتستحقّ الشرح.
لقياس دقّة النموذج فع لياً، تحتاج النتيجة الحقيقية. ومتى تتوفّر؟
| الحالة | تأخّر النتيجة |
|---|---|
| نقرة على توصية | ثوانٍ |
| رسالة مزعجة أبلغ عنها مستخدم | ساعات |
| احتيال في بطاقة | أيّام إلى أسابيع |
| تسرّب عميل | أشهر |
| تعثّر قرض | سنوات |
| تشخيص طبّي | متفاوت، وقد لا يُعرَف |
في الحالات ذات التأخّر الطويل، لا يمكن قياس الدقّة في الوقت الحقيقي. وهذا ليس عيباً في التنفيذ بل واقع بنيوي، وهو ما يجعل الطبقتين الثانية والثالثة — توزيعات المدخلات والمخرجات — الوحيدتين المتاحتين للإنذار المبكّر.
وهناك حالة أسوأ: النتيجة لا تُعرَف أبداً لأنّ النموذج منع حدوثها. رفضت طلب قرض، فلن تعرف أبداً إن كان سيُسدَّد. وهذه مشكلة معروفة، ومعالجتها الجزئية بقبول عيّنة عشوائية صغيرة خارج توصية النموذج، لتحصل على بيانات غير متحيّزة.
ضبط التنبيهات
الخطأ الشائع الذي يقتل أيّ نظام مراقبة: تنبيهات كثيرة جدّاً. النتيجة أنّ الفريق يتجاهلها كلّها، فيصبح النظام أسوأ من عدمه ل أنّه يعطي إحساساً زائفاً بالأمان.
ما يعمل:
- عتبات على أثر لا على فرق إحصائي. انزياح ضئيل جدّاً يُكشَف إحصائياً على ملايين العيّنات ولا يعني شيئاً عملياً. اسأل: هل هذا الانزياح يغيّر قراراً؟
- مستويات متمايزة: معلومة للسجلّ، وتحذير للمراجعة الأسبوعية، وتنبيه عاجل للاستدعاء الفوري. والثالث نادر جدّاً بحكم التعريف.
- نوافذ زمنية: انزياح ليوم واحد قد يكون حدثاً عارضاً، ولثلاثة أيّام متتابعة اتّجاه.
- مراجعة دورية: كلّ تنبيه لم يقُد إلى إجراء مرّة واحدة على الأقلّ يجب أن يُلغى أو يُعاد ضبطه.
سياسة إعادة التدريب
ثلاث مقاربات، بترتيب النضج:
دورية بالجدول. أسبوعياً أو شهرياً بلا شرط. بسيطة، وقد تعيد التدريب بلا حاجة أو تتأخّر عن حاجة حقيقية.
مدفوعة بالحدث. عند تجاوز عتبة انزياح أو هبوط أداء مرصود. أذكى، وتحتاج مراقبة جيّدة تكون قد أُقيمت أوّلاً.
مستمرّة. إعادة تدريب آلية متواصلة. قويّة في المجالات سريعة التغيّر، وخطرة: بيانات فاسدة تنتشر إلى الإنتاج بلا مراجعة بشرية.
إعادة التدريب الآلية يجب أن تمرّ ببوّابة جودة قبل النشر: مجموعة اختبار مرجعية ثابتة، ومقارنة بالنموذج الحالي، ورفض تلقائي إذا كان الأداء أدنى. وبلا هذه البوّابة، تكون قد بنيت نظاماً يستطيع أن يُفسد نفسه تلقائياً وبسرعة.
معدل تكرار إعادة التدريب
لا جواب عامّاً. والمعيار سرعة تغيّر مجالك:
| المجال | التكرار المعتاد |
|---|---|
| توصية محتوى | يومياً |
| كشف احتيال | أسبوعياً، والخصوم يتحرّكون بسرعة |
| توقّع طلب | أسبوعياً إلى شهرياً |
| درجة مخاطر ائتمانية | ربع سنوياً، مع قيود تنظيمية |
| تصنيف مستندات | سنوياً أو عند تغيّر ملحوظ |
| رؤية صناعية بظروف ثابتة | عند تغيّر الخطّ أو المنتج |
في ثلاث جمل
المراقبة أربع طبقات: الصحّة التقنية لازمة وغير كافية، وتوزيعات المدخلات تكشف الانزياح بلا حاجة إلى نتائج حقيقية، وتوزيع المخرجات أرخص مؤشّر وأعلى مردود، ومقاييس الأعمال هي الحكم النهائي. وتأخّر النتائج الحقيقية — من ثوانٍ إلى سنوات — يجعل قياس الدقّة في الوقت الحقيقي مستحيلاً في حالات كثيرة، وقد لا تُعرَف النتيجة أبداً لأنّ النموذج منع حدوثها. والتنبيهات الكثيرة تقتل نظام المراقبة، والعتبات يجب أن تُبنى على أثر عملي لا على دلالة إحصائية، وأيّ إعادة تدريب آلية يجب أن تمرّ ببوّابة جودة تمنع نشر نموذج أسوأ.
التالي — الدرس 5: التنظيم ←