الوحدة 9 — المقاييس: الدقّة، الإحكام، الاستدعاء، F1، ROC AUC

يقول التحقّق المتقاطع كيف نقيس؛ وتقول هذه الوحدة ماذا نقيس. فاختيار المقياس الخاطئ يعني تحسين الهدف الخاطئ — بنماذج تبدو ممتازة وقراراتٍ كارثية. وكلّ شيء ينطلق من جدولٍ صغير عظيم النتائج: مصفوفة الالتباس.

مصفوفة الالتباس: النتائج الأربع الممكنة

في التصنيف الثنائي، يقع كلّ تنبّؤ في إحدى أربع خانات:

	مُتنبَّأ موجب	مُتنبَّأ سالب
موجب فعلاً	موجب حقيقي (TP)	سالب كاذب (FN)
سالب فعلاً	موجب كاذب (FP)	سالب حقيقي (TN)

نادراً ما يتساوى نوعا الخطأ في الكلفة. فتفويت احتيال (FN) وحجب زبونٍ شرعي (FP) ليسا الضرر نفسه — وكلّ مقياس ليس إلّا طريقةً في وزن هذه الخانات الأربع، والسياق التجاري يُملي الاختيار.

from sklearn.metrics import confusion_matrix, classification_report
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))   # كلّ شيء دفعةً واحدة

الدقّة: بديهية، وخطيرة عند اختلال التوازن

الدقّة — نسبة التنبّؤات الصحيحة — هي المقياس الذي يفهمه الجميع. وتغدو فخّاً بمجرّد اختلال توازن الأصناف. فمع 1% احتيال، يُحقّق النموذج الكسول «لا احتيال أبداً» دقّة 99% بينما يكشف صفراً من الاحتيال. يُكافئ المقياس العمى. ردّ الفعل: بمجرّد ندرة صنفٍ لا تعني الدقّة كثيراً — انتقل إلى مقاييس تنظر إلى الصنف النادر.

الإحكام والاستدعاء: المقايضة الأساسية

• الإحكام $= \frac{TP}{TP + FP}$ — من إنذاراتي الموجبة، كم نسبة الصحيح؟ يُعاقِب الموجبات الكاذبة.
• الاستدعاء $= \frac{TP}{TP + FN}$ — من الموجبات الفعلية، كم نسبة ما وجدتُ؟ يُعاقِب السوالب الكاذبة.

يشدّ الاثنان في اتّجاهين متعاكسين، وعتبة الوحدة 3 هي المِزلاج بالضبط: اخفض العتبة يرتفع الاستدعاء ويهبط الإحكام؛ ارفعها يحدث العكس. ولا أحدهما «أفضل» — فكلّ شيء يتوقّف على كلفة كلّ خطأ:

السياق	الخطأ المُكلِف	الأولوية
فحص السرطان	تفويت حالة (FN)	الاستدعاء
مُرشِّح البريد المزعج	حجب بريد شرعي (FP)	الإحكام
احتيالٌ بمراجعة بشرية	FN، تمتصّ المراجعةُ الـFP	استدعاءٌ ثمّ إحكام

نتيجة F1، المتوسّط التوافقي للإحكام والاستدعاء، تكثّف الاثنين في عددٍ واحد — نافعٌ لمقارنة النماذج بلمحة. ويُعاقِب المتوسّط التوافقي الاختلالَ: نموذجٌ بإحكامٍ عالٍ واستدعاءٍ شبه معدوم ينال F1 قريبةً من الصفر، لا متوسّطاً مُجمِّلاً.

ROC AUC: الحكم عبر كلّ العتبات

تتوقّف المقاييس السابقة على العتبة المختارة. ويزيل منحنى ROC هذا التوقّف: يرسم، لكلّ عتبةٍ ممكنة، معدّل الموجبات الحقيقية مقابل معدّل الموجبات الكاذبة. والمساحة تحت هذا المنحنى، AUC، تلخّص جودة الترتيب: احتمال أن ينال موجبٌ عشوائي نتيجةً أعلى من سالبٍ عشوائي. AUC = 0.5 يعني ليس أفضل من الصدفة؛ و1.0 فصلٌ مثالي.

from sklearn.metrics import roc_auc_score
roc_auc_score(y_test, model.predict_proba(X_test)[:, 1])   # النتائج، لا الأصناف

تقارن AUC النماذج بمعزلٍ عن العتبة — مثالية للاختيار؛ وتُضبَط العتبة لاحقاً من قِبَل العمل. وعلى الأصناف شديدة الاختلال، ابنة عمّها PR AUC (المساحة تحت منحنى الإحكام-الاستدعاء) أكثر تطلّباً وكشفاً، لأنّها تركّز على الصنف النادر.

اختر المقياس قبل التدريب

المقياس قرار صياغة (الوحدة 1)، لا فكرةٌ لاحقة: ينبع من كلفة الأخطاء في العمل، وعلى التحقّق المتقاطع تحسينه (scoring= في scikit-learn). واختياره بعد الأمر الواقع يُغري بانتقاء ما يُجمّل النموذج.

الخلاصة

• تُميّز مصفوفة الالتباس النتائج الأربع؛ ونادراً ما يتساوى FP وFN في الكلفة، ومن ذلك يتبع كلّ شيء.
• تُضلّل الدقّة عند اختلال توازن الأصناف — نموذج «الأغلبية دوماً» ينال نتيجةً عالية بينما لا يكشف شيئاً.
• يشدّ الإحكام (إنذارات موثوقة) والاستدعاء (الموجبات الموجودة) في اتّجاهين متعاكسين؛ والعتبة هي المِزلاج وF1 تكثّفهما.
• تحكم ROC AUC جودة الترتيب عبر كلّ العتبات؛ وتُفضَّل PR AUC حين يندر الصنف الموجب.

الوحدة الأخيرة في المحتوى: ضبط المعاملات الفائقة والمشروع من طرف إلى طرف، حيث تجتمع كلّ قطع الدورة.