الوحدة 7 — مقاييس التقييم وقراءتها قراءةً سليمة

«نموذجنا يبلغ دقّة 97%.» هذه الجملة، كما هي، لا تقول شيئاً. تمنحك هذه الوحدة العادات الذهنية لقراءة أرقام الأداء — أرقامك وأرقام الموردين — ولكشف القياسات البرّاقة الجوفاء ببضعة أسئلة.

فخّ الدقّة الكلّية

الدقّة الكلّية (Accuracy) أكثر المقاييس بداهةً: نسبة التنبّؤات الصحيحة. وهي أيضاً الأكثر تضليلاً حالما تكون الفئات غير متوازنة — وهذا حال كلّ المسائل المهمّة تقريباً.

البرهان في سطرين. في تدفّق معاملات 1% منها احتيالية، «النموذج» الذي يجيب دائماً «سليمة» يبلغ دقّة 99%. وهو لا يكشف شيئاً على الإطلاق. ومع ذلك يتفوّق، على هذا المقياس، على كثير من النماذج الحقيقية.

الاحتيال، والأعطال، والأمراض النادرة، وانصراف العملاء، وعيوب التصنيع: الأحداث التي تستحقّ التنبّؤ تكاد تكون دائماً هي الأقلّية. أول سؤال أمام أيّ رقم أداء: ما توزيع الفئات؟

مصفوفة الالتباس: الحقيقة في أربع خانات

في مسألة ذات فئتين، كلّ شيء في أربعة أرقام:

	التنبّؤ: إيجابي	التنبّؤ: سلبي
الواقع: إيجابي	إيجابيات حقيقية (TP)	سلبيات كاذبة (FN) — الحالات المفوَّتة
الواقع: سلبي	إيجابيات كاذبة (FP) — الإنذارات الزائفة	سلبيات حقيقية (TN)

الخطآن — FP وFN — لا يحملان الكلفة المهنية نفسها إلا نادراً. تفويت سرطان (FN) واستدعاء مريض سليم لفحوص إضافية (FP) لا يُقارَنان. وحجب معاملة عميل نزيه وتمرير عملية احتيال لا يُقارَنان أيضاً. كلّ تقييم جادّ يبدأ بتسعير كلٍّ من الخطأين.

الدقّة والاستدعاء: السؤالان المهمّان

من المصفوفة يُشتقّ المقياسان المركزيان، وكلّ منهما يجيب عن سؤال مختلف.

الدقّة (Precision): من بين الحالات التي يشير إليها النموذج، ما نسبة الإيجابية فعلاً؟ TP / (TP + FP). دقّة 80% تعني أنّ إنذاراً من خمسة كاذب. إنها مقياس الثقة في الإنذارات — حاسمة حين يطلق كلّ إنذار إجراءً مكلفاً.

الاستدعاء (Recall): من بين الحالات الإيجابية فعلاً، ما نسبة ما يلتقطه النموذج؟ TP / (TP + FN). استدعاء 75% يعني أنّ حالة من أربع تفلت. إنه مقياس التغطية — حاسم حين يكون تفويت حالة مكلفاً.

المقياسان يتجاذبان. ينتج النموذج عموماً درجة بين 0 و1، والعتبة المختارة هي التي تحوّل الدرجة قراراً. خفضُ العتبة يلتقط حالات أكثر (استدعاء ↑) لكنه يضاعف الإنذارات الزائفة (دقّة ↓)؛ ورفعُها يفعل العكس. العتبة ليست تفصيلاً تقنياً: إنها الترجمة الرقمية لكلفة أخطائك، وتُقرَّر مع أهل الاختصاص المهني.

درجة F1 — الوسط التوافقي للدقّة والاستدعاء — تلخّص الاثنين في رقم واحد حين يلزم ترتيب وحيد؛ وهي تفترض أنّ الخطأين متساويا الوزن، وهو ما يندر أن يصحّ. أمّا AUC فتقيس جودة الترتيب الذي تنتجه الدرجات، مستقلةً عن أيّ عتبة: مفيدة لمقارنة النماذج، غير كافية لقيادة قرار.

الأسئلة التي تفضح الرقم البرّاق

أمام «أداء 97%»، اسأل: أيّ مقياس بالضبط؟ وعلى أيّ توزيع فئات؟ ومقاس على أيّ بيانات — مجموعة اختبار معزولة أم بيانات التدريب؟ وبأيّ عتبة؟ وماذا يحرز النموذج المرجعي البديهي (توقّع الفئة الغالبة دائماً، ترحيل قيمة الأمس)؟ يحدث كثيراً أن يقارب المرجعُ البديهي النتيجةَ — وعندها لا يضيف النموذج شيئاً.

مقاييس الانحدار

حين يكون المخرج رقماً، يُقاس حجم الفروق.

MAE (متوسّط الخطأ المطلق): الفارق المتوسّط بالوحدات الحقيقية — «نخطئ بـ12,400 دولار في المتوسّط». مفهوم مباشرة لأهل المهنة.

RMSE (جذر متوسّط مربّع الخطأ): الوحدة نفسها، لكنّ الفروق الكبيرة تزن أكثر. يُفضَّل حين يكون الخطأ الكبير مكلفاً بلا تناسب؛ والفارق بين MAE وRMSE يشي أيضاً بوجود أخطاء متطرّفة.

R²: حصّة التباين التي يفسّرها النموذج. حذارِ من المقارنات خارج السياق: R² يساوي 0.3 قد يكون لافتاً في ظاهرة شديدة الضجيج (سلوك بشري) ومتواضعاً في ظاهرة فيزيائية منتظمة.

وعادةُ المرجع تسري هنا أيضاً: قارن بـ«توقّع المتوسّط» أو «ترحيل القيمة السابقة». في تنبّؤ السلاسل الزمنية، قيمة الأمس مرجع يصعب التغلّب عليه على نحو مدهش.

المقياس ليس الهدف

النقطة الأخيرة، وهي الأهمّ. المقياس أداة قياس، لا غاية. نموذج انصراف العملاء لا يوجد من أجل درجة F1 بل لاستبقاء العملاء؛ والرقم المهمّ في النهاية هو الأثر — عملاء استُبقوا، واحتيالات جُنّبت، وساعات وُفّرت — مقاساً إن أمكن بتجربة مضبوطة في الإنتاج.

الاستمثال الأعمى لمقياسٍ ينتج عبثيات موثّقة: نموذج ترتيب السِّيَر الذاتية الذي يعظّم «الملاءمة» بإعادة إنتاج تحيّزات التوظيف الماضية، ونظام التوصية الذي يعظّم النقر بدفع المحتوى المتطرّف. ما يُقاس يُستَمثَل — حتى حين يكون الشيء الخاطئ. تعود الوحدة 10 إلى ذلك.

الخلاصة

• الدقّة الكلّية غير مقروءة على الفئات غير المتوازنة — أي في كلّ المسائل الحقيقية تقريباً. اسأل دائماً عن التوزيع.
• تفصل مصفوفة الالتباس بين الخطأين، وكلفتاهما المهنيتان تختلفان دائماً تقريباً؛ الدقّة = الثقة في الإنذارات، والاستدعاء = تغطية الحالات الحقيقية.
• تحكم العتبة بين الاثنين: إنها قرار مهني مسعَّر، لا إعداد تقني.
• الانحدار: MAE لمخاطبة أهل المهنة، وRMSE حين تكون الأخطاء الكبيرة مكلفة، ودائماً مرجع بديهي كنقطة مقارنة.
• المقياس يخدم الهدف ولا يحلّ محلّه.

الوحدة التالية: دورة الحياة الكاملة لمشروع ذكاء اصطناعي — من التأطير إلى الإنتاج والمراقبة.