الدرس 4 — التقييم

نموذج بلا تقييم صادق ليس نموذجاً بل تخميناً بواجهة أنيقة. وهذا الدرس عن كيف تعرف — فعلاً وليس ظنّاً — أنّ ما بنيته يعمل.

لماذا ثلاث مجموعات

التقسيم الثلاثي ليس بيروقراطية بل ضرورة منطقية، ولكلّ مجموعة وظيفة مختلفة تماماً.

المجموعة	الحجم المعتاد	وظيفتها	كم مرّة تُستخدم
التدريب	~70 %	تعلّم المعاملات	ملايين المرّات
التحقّق	~15 %	اتّخاذ القرارات: أيّ نموذج، أيّ إعدادات، متى نتوقّف	مرّات كثيرة
الاختبار	~15 %	تقدير الأداء الحقيقي	مرّة واحدة، في النهاية

المفتاح في السطر الأخير. مجموعة الاختبار تقدّر الأداء على بيانات لم تؤثّر في أيّ قرار. وبمجرّد أن تنظر إليها لتفاضل بين نموذجين، تصبح مجموعة تحقّق، وينتهي دورها كمقدّر صادق.

كيف يحدث الغشّ من غير قصد

تدرّب نموذجاً، تقيسه على الاختبار، النتيجة 82 %. تغيّر إعداداً، تقيس، 84 %. تجرّب سمة جديدة، تقيس، 86 %. هذا يبدو عملاً جدّياً، وهو في الحقيقة ضبط على مجموعة الاختبار، والرقم 86 % متضخّم ولن يتحقّق في الإنتاج. الحلّ: كلّ هذه القياسات على مجموعة التحقّق، والاختبار يُفتح مرّة واحدة في النهاية.

التحقّق المتقاطع: تقدير أكثر استقراراً

على مجموعة صغيرة، تقسيم واحد يعطي رقماً غير مستقرّ: نتيجتك تتوقّف على حظّ التقسيم.

التحقّق المتقاطع (k-fold) يحلّ ذلك: تقسّم إلى k أجزاء (خمسة عادةً)، وتدرّب k مرّات، كلّ مرّة على k-1 جزءاً وتقيس على الجزء المتبقّي. النتيجة متوسّط مع انحراف، والانحراف مفيد بقدر المتوسّط: تباين كبير بين الأجزاء يعني أنّ نموذجك غير مستقرّ.

حالات تحتاج نسخاً خاصّة:

• بيانات غير متوازنة: تقسيم يحافظ على نسب الفئات في كلّ جزء.
• بيانات زمنية: تقسيم يحترم الزمن — التدريب على الماضي والاختبار على المستقبل دائماً.
• بيانات مجمّعة (عدّة صفوف لنفس الشخص): تقسيم يضمن ألا يظهر الشخص في التدريب والاختبار معاً.

مقاييس التصنيف

مصفوفة الالتباس هي نقطة البداية دائماً، لأنّها تعرض الأخطاء بأنواعها لا برقم واحد:

• إيجابي حقيقي: أشار النموذج وكان محقّاً.
• إيجابي كاذب: أشار وكان مخطئاً — إنذار كاذب.
• سلبي حقيقي: لم يشر وكان محقّاً.
• سلبي كاذب: لم يشر وكان مخطئاً — حالة فائتة.

ومن هذه الأربعة تُشتقّ المقاييس كلّها:

المقياس	يجيب عن	يهمّ حين
الدقّة	ما نسبة الصواب الكلّي؟	الفئات متوازنة — نادراً
الإحكام	من بين إشاراتي، كم كان صحيحاً؟	الإنذار الكاذب مكلف
الاستدعاء	من الحالات الحقيقية، كم أمسكت؟	الفوات مكلف
F1	توازن بين الاثنين	تريد رقماً موجزاً واحداً
AUC	جودة الترتيب بلا حدّ محدّد	مقارنة نماذج قبل اختيار الحدّ

الدقّة على بيانات غير متوازنة كذب مهذَّب

في مجموعة فيها 1 % احتيال، نموذج «لا احتيال أبداً» يحقّق 99 % دقّة وقيمة صفر. وهذه ليست حالة نادرة بل حالة معظم المسائل ذات القيمة: الاحتيال، والأمراض، والأعطال، والتسرّب — كلّها أحداث نادرة.

مقاييس الانحدار

للتنبّؤ بأرقام:

• متوسّط الخطأ المطلق (MAE): متوسّط حجم الخطأ. سهل الشرح: «نخطئ في المعدّل بـ12 دقيقة».
• الجذر التربيعي لمتوسّط مربّع الخطأ (RMSE): يعاقب الأخطاء الكبيرة أكثر. استخدمه حين يكون الخطأ الكبير كارثياً بشكل غير متناسب.
• MAPE: خطأ نسبي مئوي. مفيد للمقارنة بين مقاييس مختلفة، وخطير حين تقترب القيم الحقيقية من الصفر.
• R²: نسبة التباين المفسَّر. مفيد للمقارنة، وغير كافٍ وحده.

حدّ القرار: القرار الذي يُنسى

النموذج يعطي احتمالاً، والقرار يحتاج إلى حدّ. والافتراضي 0.5، وهو غالباً خيار خاطئ.

خفض الحدّ إلى 0.3: تمسك حالات أكثر (استدعاء أعلى) وتنتج إنذارات كاذبة أكثر (إحكام أقلّ). ورفعه إلى 0.7: العكس.

والاختيار ليس تقنياً بل اقتصادي. اسأل: كم يكلّف الفوات وكم يكلّف الإنذار الكاذب؟ في كشف مرض خطير، الفوات يكلّف حياة والإنذار الكاذب يكلّف فحصاً إضافياً: اخفض الحدّ. وفي حجب رسائل، حجب رسالة مهمّة يغضب العميل: ارفع الحدّ.

ما لا تقيسه المقاييس

نموذج جيّد إحصائياً قد يكون سيّئاً عملياً، لأربعة أسباب لا يظهر أيّ منها في رقم الدقّة:

• الأداء على المجموعات الفرعية: 92 % عامّة قد تكون 97 % لمجموعة و71 % لأخرى. هذه مسألة إنصاف تعالجها دورة الأخلاقيات.
• الاستقرار الزمني: أداء ممتاز في المتوسّط وتدهور واضح في الأشهر الأخيرة يعني انزياحاً بدأ.
• زمن الاستجابة: نموذج بدقّة أعلى بنقطة وزمن استجابة أطول بعشرين ضعفاً قد يكون غير قابل للاستخدام.
• القيمة الفعلية: تحسّن الدقّة بنقطتين لا يعني شيئاً إن لم يترجَم إلى نتيجة عمل. اربط المقياس التقني بمقياس عمل من البداية.

---

في ثلاث جمل

ثلاث مجموعات لثلاث وظائف: التدريب للمعاملات، والتحقّق للقرارات، والاختبار لتقدير واحد صادق في النهاية، ومن يقيس على الاختبار مرّات كثيرة يضخّم رقمه بلا وعي. والتحقّق المتقاطع يعطي تقديراً أكثر استقراراً، بنسخ خاصّة للبيانات غير المتوازنة والزمنية والمجمّعة. والمقاييس تُختار بحسب كلفة الخطأ، وحدّ القرار قرار اقتصادي لا تقني، وما لا يقيسه أيّ رقم هو الأداء على المجموعات الفرعية والقيمة العملية.

---

التالي — الدرس 5: لماذا تفشل النماذج ←