الوحدة 8 — تسرّب البيانات: أكثر الحالات شيوعًا
عرضت دورة التعلّم المُوجَّه التسرّب من زاوية التحقّق: كيف تقيس دون أن تخدع نفسك. وتتناوله هذه الوحدة من زاوية بناء المتغيّرات: كيف تصنع، من غير قصد، متغيّرًا يعرف الجواب سلفًا. وهذا هو الخطر المهنيّ الأكبر في هندسة المتغيّرات، لأنّ التسرّب لا يُحدث أيّ خطأ — بل يُنتج درجةً ممتازة ونموذجًا غير قابل للاستخدام.
التعريف، ولماذا تعجز المقاييس عن كشفه
يقع التسرّب متى احتوى متغيّرٌ على معلومة غير متاحة في اللحظة الحقيقية للتنبّؤ. والأثر ملتوٍ: فكلّما قوي التسرّب حسنت الدرجة. فيبقى التحقّق المتقاطع، ومجموعة الاختبار المحفوظة، وكلّ ضمانات الدورة 04، عاجزةً عن الرؤية، لأنّ التسرّب حاضر في البيانات نفسها، فهو في الاختبار كذلك.
فلن ينجيك أيّ مقياس. ولن ينجيك إلّا التفكير في طبيعة المتغيّرات.
العائلة 1 — المتغيّر اللاحق للهدف
وهي الأكثر شيوعًا: متغيّر لا توجد قيمته إلّا بعد الحدث المتنبَّأ به، أو هو نتيجة له.
| هدف التنبّؤ | المتغيّر المتسرّب | لماذا |
|---|---|---|
| هل يُدخَل المريض المستشفى | مدّة الإقامة | لا توجد إلّا بعد الإدخال |
| هل يهجر العميل الخدمة | تاريخ إغلاق الحساب | هو الهجر نفسه |
| هل العملية غشّ | المبلغ المُعاد | نتيجة لإثبات الغشّ |
| هل يوقّع العميل المحتمل | رقم العقد | ينشأ بالتوقيع |
والفحص الذي يُطبَّق على كلّ متغيّر واحد دائمًا، وينبغي طرحه بصوت مسموع: «في اللحظة التي يجب أن أُنتج فيها هذا التنبّؤ، هل هذه المعلومة متاحة سلفًا في أنظمتي؟» فإن كان الجواب لا، فالمتغيّر مرفوض أيًّا كانت قوّته التنبّئية — بل هذه القوّة بعينها هي ما ينبغي أن يقلقك.
العائلة 2 — المعالجة المسبقة المحسوبة على البيانات كاملةً
وهي الأخفى، وتعبر الوحدات السابقة كلّها. فحسابُ إحصاءة على البيانات كلّها قبل التقسيم يُدخل معلومةً من الاختبار إلى التدريب:
- المتوسّط والانحراف المعياري والحدّ الأدنى والأقصى في تغيير المقياس (الوحدة 3)؛
- الوسيط أو المنوال في التعويض (الوحدة 2)؛
- متوسّطات الفئات في الترميز بالهدف (الوحدة 4)؛
- المفردات وأوزان IDF في تمثيل النصّ (الوحدة 6).
والأثر أضعف من أثر متغيّر لاحق للهدف، لكنّه واقعيّ تمامًا: فالدرجة المعلنة متفائلة على نحو منهجيّ. والعلاج بنيويّ وموضعه الوحدة 10.
العائلة 3 — التسرّب الزمني
خاصٌّ بالبيانات المرتّبة زمنيًّا، وقد مرّ في الوحدة 7: نافذة متحرّكة تضمّ الصفّ الجاري، أو rolling من دون shift(1)، أو تجميع محسوب على الفترة كاملةً بينما سيتنبّأ النموذج تِباعًا.
ويُضاف إلى ذلك التقسيم نفسه: فالتقسيم العشوائيّ على بيانات زمنية يعني تعلّم المستقبل للتحقّق على الماضي. والمطلوب هو TimeSeriesSplit كما رأينا في الدورة 04.
العائلة 4 — المُعرّف الذي يرمّز معلومة
حالةٌ لطيفة وشائعة. فالمُعرّف المفترض حياده يحمل أحيانًا معلومة غير مقصودة: أرقام ملفّات مُنِحت تسلسليًّا، حيث أُدخِلت حالات نوع معيّن في المدى نفسه؛ أو معرّف مريض تدلّ بادئته على قسم الإدخال. فيتعلّم النموذج منطق منح المعرّفات لا الظاهرة.
والانعكاس الصحيح: لا تُعطِ المعرّفات الخامّ للنموذج، واحترِس من أيّ متغيّر تقنيّ تنبّئيّ بلا تفسير.
التحقيق: إشارات التنبيه
ثلاثة أعراض يجب أن تُطلق فحصًا فوريًّا:
- أداء أجمل من اللازم: 98 % حيث تتوقّف أحدث النتائج عند 80 %. فالفرح هو الانعكاس الخاطئ، والتحقيق هو الصحيح؛
- متغيّر يسيطر سيطرةً هائلة على أهمّية المتغيّرات. افحصه: هل هو نتيجة للهدف؟
- قفزة مفاجئة في الأداء بعد إضافة متغيّر. فما الذي يعرفه هذا المتغيّر ولا ينبغي أن يعرفه في هذه اللحظة؟
ومنهجٌ بسيط وفعّال: تدريب نموذج بـالمتغيّر المشتبه فيه وحده. فإن بلغ وحده درجةً تامّة تقريبًا، فلا شكّ بعد ذلك.
لكنّ الفحص الحاسم يبقى بشريًّا: أن تجعل أصحاب المجال يشرحون كيف ومتى تُنتَج كلّ بيانة. فمعظم التسرّبات تُرى بالاستماع إلى وصف عملية الجمع، لا بالنظر إلى مصفوفة ارتباط.
لا يُدفَع ثمن التسرّب خطأً بل قرارًا. فالمشروع يُقَرّ ويُعرَض ويُنقَل إلى الإنتاج بناءً على درجة استثنائية — ثمّ ينهار النموذج عند ملامسة الواقع. والضرر ليس تقنيًّا بل ضررٌ في المصداقية: فالمُصاب هو الثقة بالفريق وبالمنهج، وعلى نحو دائم في الغالب. ومن هنا قيمة التحقّق قبل الإعلان لا بعده.
الخلاصة
- التسرّب معلومة غير متاحة لحظة التنبّؤ؛ وهو يحسّن الدرجة، وهذا ما يُعمي المقاييس كلّها.
- أربع عائلات: متغيّر لاحق للهدف، ومعالجة مسبقة على البيانات كاملةً، وتسرّب زمنيّ، ومعرّف حامل لمعلومة.
- الفحص المطبَّق على كلّ متغيّر: هل هذه المعلومة متاحة سلفًا لحظة التنبّؤ؟
- إشارات التنبيه: درجة أجمل من اللازم، ومتغيّر مسيطر، وقفزة مفاجئة؛ وأفضل فحص يبقى وصف أصحاب المجال لعملية الجمع.
الوحدة التالية: اختيار المتغيّرات، لتقليص مج موعة صارت واسعة جدًّا دون فقدان الإشارة.