الدرس 1 — التحيّز
الجملة الأولى التي يجب تصحيحها: النموذج لا يخترع التحيّز. هو ينقل بأمانة ما في بياناته وما في تصميمه، وهذه أمانة مؤذية.
المصدر 1 — بيانات تاريخية متحيّزة
الأكثر شيوعاً وأصعبها معالجةً.
بيانات التدريب تسجيل لقرارات بشرية سابقة. وإذا كانت تلك القرارات متحيّزة، فالنموذج يتعلّم التحيّز كنمط صحيح، لأنّه — من ناحية إحصائية — هو النمط الصحيح فعلاً في تلك البيانات.
الحالة الأشهر: نظام فرز سيرات ذاتية دُرِّب على قرارات توظيف سابقة في شركة كان معظم من عُيِّنوا فيها في وظائف تقنية رجالاً. النموذج تعلّم خفض تقييم السيرات التي تحمل إشارات إلى أنّ صاحبتها امرأة. ولم يكن مخطئاً في التقاط النمط؛ النمط كان في البيانات. والنظام أُوقِف.
والمشكلة العميقة هنا: الهدف المطلوب ليس تعلّم البيانات بأمانة، بل تعلّم ما ينبغي أن يكون. وهذا ليس ما تفعله الخوارزمية.
المصدر 2 — التمثيل الناقص
مجموعة غير ممثَّلة كافياً في البيانات تحصل على أداء أدنى، ببساطة لأنّ النموذج رآها أقلّ.
الأمثلة الموثّقة: أنظمة تعرّف على الوجوه بنسب خطأ أعلى بشكل ملحوظ على الوجوه الداكنة والنسائية، وأنظمة تعرّف على الكلام أضعف مع لهجات معيّنة، ونماذج طبّية دُرِّبت على سكّان بلد واحد وتعمل أسوأ على غيرهم.
وهذا يمكن قياسه بسهولة: قِس الأداء مفصَّلاً بحسب المجموعات لا على المجموع فقط. ودقّة كلّية عالية قد تخفي فجوةً كبيرة، وهذا يحدث كثيراً.
المصدر 3 — تحيّز الوسم
من يسمّي البيانات يحمل معه تصوّراته.
- الوسم الذاتي يتفاوت بين الواسمين: ما هو «تعليق مسيء»؟
- المعايير قد تكون غير متّسقة بين المواقع أو الفترات.
- المتغيّر المُقاس ليس المتغيّر المطلوب. وهذه أخطر صورة.
مثال حقيقي: نظام لتحديد المرضى المحتاجين إلى رعاية مكثّفة استخدم الإنفاق الصحّي السابق كمؤشّر على الحاجة. والإنفاق ليس الحاجة: مجموعات تعاني تفاوتاً في الوصول إلى الرعاية تنفق أقلّ بسبب هذا التفاوت نفسه. النتيجة أنّ النظام قدّر حاجتها أقلّ ممّا هي، فضاعف التفاوت القائم. والخطأ كان في تعريف المتغيّر الهد ف، لا في الخوارزمية ولا في البيانات.
اسأل دائماً: هل ما أقيسه هو ما أريد فعلاً؟ الإنفاق ليس الحاجة، والاعتقال ليس الجريمة، والنقر ليس الاهتمام، والدرجة ليست الكفاءة. الفارق بين المتغيّر المتاح والمتغيّر المطلوب هو حيث يدخل التحيّز بأكبر أثر وأقلّ ظهور.
المصدر 4 — المتغيّرات البديلة
نقطة تقنية أساسية: حذف المتغيّر الحسّاس لا يكفي.
النموذج يعيد بناء المعلومة من متغيّرات أخرى مرتبطة بها:
| المتغيّر البديل | ما يدلّ عليه ضمناً |
|---|---|
| الرمز البريدي | الأصل، والمستوى الاجتماعي |
| اسم العائلة | الأصل |
| المدرسة أو الجامعة | المستوى الاجتماعي |
| نمط استخدام التطبيق | الجنس، والعمر |
| ساعة النشاط | نمط العمل، وأحياناً الدين |
| نوع الجهاز | القدرة الشرائية |
| فجوة في السيرة المهنية | الأمومة |
والنتيجة أنّ نموذجاً «أعمى عن الجنس» قد يعطي قرارات متفاوتة بحسب الجنس بدقّة. ولهذا فإنّ إخفاء المتغيّر يمنع القياس لا التحيّز، وهو أسوأ الحلول: يُخفي المشكلة ويُبقيها.
والمقاربة الصحيحة معاكسة: احفظ المتغيّرات الحسّاسة لأجل القياس — بضوابط وصول صارمة — واستخدمها لتفصيل النتائج بحسب المجموعات، ولا تدخلها في التوقّع.
المصدر 5 — حلقات التغذية الراجعة
النموذج يؤثّر في العالم فيصنع بياناته المستقبلية، وقد شرحه درس فشل النماذج.
المثال الأوضح في الأثر الاجتماعي: نموذج يوزّع دوريات أمنية بحسب بيانات جرائم مسجَّلة. تزيد الدوريات في منطقة، فيزيد الرصد، فتزيد ا لجرائم المسجَّلة، فيؤكّد النموذج توقّعه، فتزيد الدوريات. الحلقة تتصاعد بمعزل عن معدّل الجريمة الحقيقي، والنموذج يقيس كثافة الرصد لا الجريمة.
ومثال آخر: نموذج ائتمان يرفض مجموعة، فلا تبني سجلّاً ائتمانياً، فتبدو أعلى خطراً في البيانات التالية.
والكشف يقتضي تحليل ما لم يُختَر لا ما اختير فقط، والمعالجة الجزئية بحجز عيّنة عشوائية خارج توصية النموذج للحصول على بيانات غير متحيّزة.
لماذا هذا أخطر من التحيّز البشري
التحيّز البشري موجود وقديم، وثلاث خصائص تجعل التحيّز الخوارزمي أشدّ أثراً:
النطاق. موظّف متحيّز يؤثّر في مئات الحالات سنوياً؛ ونموذج متحيّز في ملايين، وفي أيّام.
الاتّساق. التحيّز البشري متفاوت، فبعض الحالات تفلت منه. والنموذج يطبّق التحيّز نفسه على كلّ حالة بلا استثناء، فلا فرصة للنجاة منه.
شبهة الحياد. القرار الخوارزمي يبدو موضوعياً ورقمياً، فيصعب الاعتراض عليه أكثر من قرار بشري يمكن مناقشته. «النظام قال» يُنهي الحوار.
القياس: نقطة البداية الوحيدة
لا يمكن معالجة ما لا يُقاس، والحدّ الأدنى العملي:
- حدّد المجموعات ذات الصلة في سياقك.
- قِس الأداء مفصَّلاً لكلّ مجموعة: لا الدقّة الكلّية فقط، بل الإحكام والاستدعاء ونسب الأخطاء لكلّ نوع.
- قارن الفجوات واسأل عن سببها.
- قِس على النتائج الحقيقية لا على التوقّعات وحدها.
- أعِد القياس دورياً لأنّ التحيّز يمكن أن يظهر بعد النشر بانزياح البيانات.
وأكثر ما يفاجئ الفرق أنّ هذا القياس يكشف فجوات في أنظمة لم يشكّ أحد فيها. ومعظم الفرق لا تقوم به أبداً.
في ثلاث جمل
التحيّز يأتي من خمسة مصادر — بيانات تاريخية تحمل قرارات متحيّزة، وتمثيل ناقص، ووسم يقيس متغيّراً غير المطلوب، ومتغيّرات بديلة، وحلقات تغذية راجعة — والنموذج ينقلها بأمانة لا يخترعها. وأخطر صورة هي الفارق بين المتغيّر المتاح والمتغيّر المطلوب: الإنفاق ليس الحاجة والاعتقال ليس الجريمة، وحذف المتغيّر الحسّاس يمنع القياس لا التحيّز لأنّ النموذج يعيد بناءه من متغيّرات بديلة. والتحيّز الخوارزمي أشدّ من البشري بالنطاق والاتّساق وشبهة الحياد، ومعالجته تبدأ بقياس النتائج مفصَّلةً بحسب المجموعات، وهو ما لا تفعله معظم الفرق.
التالي — الدرس 2: الإنصاف ←