الوحدة 8 — كشف الشواذّ: غابة العزل والطرائق الإحصائية

العائلة الثالثة والأخيرة في الدورة. لم نعد نسعى إلى وصف البيانات في مجملها، بل إلى عزل الأقلّية التي تنحرف عنها: احتيال بنكي، عطل مِجسّ، عيب تصنيع، اختراق شبكة. والانقلاب تامّ — فهنا الاستثناءات هي التي تحمل القيمة.

ما هي الشاذّة، ولماذا هذا صعب

الشاذّة ملاحظةٌ تنحرف انحرافاً واضحاً عن السلوك الطبيعي للبيانات. ويُخفي هذا التعريف البسيط ثلاث صعوبات تُبنى عليها المجال كلّه.

أوّلاً، الشواذّ نادرة بطبيعتها: أعشار في المئة غالباً. ثانياً، هي متنوّعة: فالطبيعي يُشبِه بعضه، والشواذّ يُشبِه بعضها نادراً — فاحتيالٌ جديد لا يُشبِه سابقيه. ثالثاً، هي قليلة الوسم أو معدومته، وهذا يمنع معالجة المسألة كتصنيفٍ عادي. وهذه السمات الثلاث تفسّر أنّنا نُنمذِج الطبيعي عموماً للإشارة إلى ما لا يدخل فيه، بدل تعلّم الشواذّ نفسها.

وتمييزان نافعان: قد تكون الشاذّة نقطية (قيمة وحيدة شاذّة) أو سياقية (قيمة عادية في وقتٍ خطأ — فـ25 درجة طبيعية صيفاً لا في كانون الثاني).

المقاربات الإحصائية: بسيطة وكافية غالباً

على متغيّرٍ واحد تكفي أداتان كلاسيكيتان كثيراً. تقيس الدرجة المعيارية z الانحراف عن المتوسّط بعدد الانحرافات المعيارية، ونُشير إلى ما يتجاوز 3. وضعفها معروف: فالمتوسّط والانحراف المعياري مُلوَّثان هما نفسهما بالشواذّ الموجودة. ويفلت من ذلك المدى الربيعي (IQR) باستناده إلى الأرباع، المتينة بالبناء: فنُشير إلى ما يخرج من $[Q_1 - 1.5\,\text{IQR},\; Q_3 + 1.5\,\text{IQR}]$ — قاعدة الشوارب في مخطّط الصندوق.

وحدّهما المشترك أنّهما أحاديا المتغيّر: يفحصان كلّ متغيّر منفرداً ويُفوّتان شواذّ التركيب. فطولٌ 1.50 م طبيعي، ووزنٌ 100 كغ طبيعي، لكنّ اقترانهما شاذّ. ولن ترى ذلك أيّ قاعدةٍ لكلّ متغيّر، وهذا يُوجِب طرائق متعدّدة المتغيّرات.

غابة العزل: الشاذّة سهلة العزل

تنطلق غابة العزل من فكرةٍ بسيطة على نحوٍ لافت، معاكسة للمقاربات القائمة على الكثافة. نُقطّع الفضاء عشوائياً: نختار متغيّراً عشوائياً، وعتبةً عشوائية، ونُعيد، فنبني شجرةً من القطوع العشوائية. فكم قطعاً يلزم لعزل نقطةٍ معيّنة عزلاً تامّاً؟

• النقطة الطبيعية، المغمورة بين أشباهها، تتطلّب قطوعاً كثيرة؛
• والنقطة الشاذّة، المنحّاة جانباً، تُعزَل بقطوعٍ قليلة جدّاً.

والعمق المتوسّط اللازم للعزل، مقيساً على غابةٍ من الأشجار العشوائية، يعطي درجة الشذوذ مباشرةً. إنّه عكس منطق الكثافة: فبدل نمذجة الطبيعي، نستغلّ أنّ الشاذّ أسهل بنيوياً في الفصل.

from sklearn.ensemble import IsolationForest
iso = IsolationForest(contamination=0.01, random_state=42).fit(X_s)
iso.predict(X_s)          # -1 شاذّة، 1 طبيعي
iso.score_samples(X_s)    # درجة متّصلة: يُفضَّل للترتيب بالأولوية

وميزاتها تفسّر شيوعها: سريعة، فعّالة في الأبعاد العالية، بلا افتراضٍ عن شكل البيانات. والمعامل contamination هو نسبة الشواذّ المتوقّعة — وهو قرار عمل (أيّ حجم إنذاراتٍ نقدر على معالجته؟) أكثر منه ضبطاً إحصائياً. ويُفضَّل دائماً تقريباً استعمال الدرجة المتّصلة بدل القرار الثنائي: فهي تتيح ترتيب الحالات ومعالجة الأشدّ ارتياباً أوّلاً.

طرائق أخرى، والصلة بالتجميع

مقاربتان تُكمِلان الترسانة على نحوٍ نافع. يقارن LOF (عامل الشذوذ المحلّي) الكثافةَ المحلّية لنقطةٍ بكثافة جيرانها، فيكشف الشواذّ النسبية لمنطقتها — وهو ثمينٌ حين تتفاوت الكثافات. ويتعلّم SVM أحادي الصنف حدّاً يُغلِّف البيانات الطبيعية ويُشير إلى ما يقع خارجه.

ولنلاحظ أنّ الوحدة 5 تُقدّم كاشفاً أصلاً: فالنقاط المُوسَمة ضجيجاً (-1) في DBSCAN هي، بالبناء، مرشّحات طبيعية لصفة الشاذّة. وإعادة البناء بتحليل المكوّنات (الوحدة 6) تعمل بالمبدأ نفسه — فنقطةٌ تُعاد بناؤها بسوءٍ من المكوّنات الأساسية هي نقطةٌ لا تدخل في البنية المُهيمنة.

التقييم بلا أوسمة، ثمّ بالقليل المتاح

بلا أوسمة نُصادِق بـالفحص الخبير للحالات المُشار إليها، وهو السبيل الوحيد لتحديد ما إذا كانت الإنذارات وجيهة. وبمجرّد توفّر بضع شواذّ مؤكّدة يُطبَّق إطار الوحدة 9 من الدورة المُوجَّهة — بتحذيره الحاسم: فعلى أصنافٍ بهذا الاختلال تكون الدقّة مُضلّلة ونُفكّر بـالإحكام والاستدعاء، بل بـPR AUC. وفي الإنتاج نُكمِل بمتابعة حجم الإنذارات: فانحرافٌ مفاجئ يُشير غالباً إلى تغيّرٍ في البيانات لا إلى موجة شواذّ.

الخلاصة

• الشواذّ نادرة ومتنوّعة وقليلة الوسم: فنُنمذِج الطبيعي للإشارة إلى ما ينحرف عنه.
• تعالج الدرجة z والمدى الربيعي (الأمتن) متغيّراً واحداً في المرّة، وتُفوّتان شواذّ التركيب.
• تستغلّ غابة العزل أنّ النقطة الشاذّة تُعزَل بقطوعٍ عشوائية قليلة: سريعة وفعّالة في الأبعاد العالية.
• contamination قرار عمل؛ ويُفضَّل الدرجة المتّصلة للترتيب، ويكون التقييم بالخبرة ثمّ بالإحكام والاستدعاء.

الوحدة التالية: نماذج المزيج الغوسي، التي تُعمّم k-means إلى إسناداتٍ احتمالية.