الدرس 5 — المسؤولية
سؤال يجب أن يُجاب قبل النشر لا بعد الحادث: إذا أضرّ النظام بشخص، من يجيب؟
النظام ليس مسؤولاً
نقطة قانونية بديهية تُنسى في النقاش العامّ: الخوارزمية ليست شخصاً قانونياً. لا تُساءل ولا تُعاقَب ولا تعتذر.
والمسؤولية تقع على أشخاص وجهات:
- من نشر النظام واستخدمه في قراره. وهذا الأصل: من اتّخذ القرار مسؤول عنه، ولو استند إلى مخرج آلي.
- من بنى النظام، بحسب العقود والالتزامات.
- من قدّم النموذج الأساسي، بحسب الشروط والتشريعات.
- من قدّم البيانات، إن كانت معيبة أو غير مشروعة.
و«النظام قرّر» ليس دفاعاً. وهو أسوأ من ذلك: استخدام الأتمتة لتمييع المسؤولية يُعامَل بحدّة متزايدة في التشريعات الحديثة.
مستويات المخاطرة
الاتّجاه التنظيمي السائد عالمياً يصنّف الأنظمة بحسب مخاطرها، ويفرض التزامات متناسبة. والمنطق سليم ويستحقّ التبنّي حتى بلا إلزام قانوني:
| المستوى | أمثلة | الالتزامات المتناسبة |
|---|---|---|
| مخاطرة دنيا | تصفية الرسائل المزعجة، توصية محتوى | لا شيء خاصّ |
| مخاطرة محدودة | محاور آلي، توليد محتوى | الشفافية: إعلام المستخدم أنّه يتعامل مع نظام آلي |
| مخاطرة عالية | توظيف، ائتمان، تعليم، صحّة، قضاء | توثيق، وجودة بيانات، وتقييم أثر، ورقابة بشرية، وتدقيق |
| غير مقبول | تقييم اجتماعي للأفراد، تلاعب بالسلوك، مراقبة شاملة | محظور |
القاعدة العملية المستخلَصة: مستوى الحرص يتناسب مع أثر القرار على الأشخاص، لا مع تعقيد النموذج. نموذج بسيط جدّاً يقرّر في طلبات القروض يستحقّ حرصاً أكبر من شبكة عميقة ضخمة توصي بأفلام.
القرارات التي لا تُفوَّض
هذه أهمّ فقرة في الدرس، وأوضح خلاصة عملية في الدورة كلّها.
بعض القرارات لا يجوز أن يتّخذها نظام آلي وحده، لا لأنّه غير دقيق بل لأنّ طبيعتها تقتضي مسؤولاً بشرياً:
- قرار يمسّ حرّيةً أو حقّاً أساسياً.
- قرار غير قابل للتراجع في أثره على شخص.
- قرار يقتضي فهماً لسياق فردي لا يظهر في البيانات.
- قرار لا يستطيع أحد تبريره أمام المتأثّر به.
والصيغة الصحيحة في هذه الحالات: النظام يساعد، والإنسان يقرّر ويوقّع.
«رقابة بشرية» تصبح شكليةً إذا كان الموظّف يوافق على 99% من مخرجات النموذج. وهذا يحدث بانتظام، ولأسباب مفهومة: ضغط الوقت، وثقة زائدة في الرقم، وتحمّل شخصي للمسؤولية عند المخالفة، وغياب المعلومة الكافية للاعتراض. والرقابة الحقيقية تقتضي وقتاً كافياً، ومعلومات كافية، وصلاحية فعلية للمخالفة، وحمايةً لمن يخالف. بلا هذه الأربعة، أنت لديك ختم لا رقابة.
الحكامة العملية
الحكامة ليست لجنةً تصدر بياناً. هي أسئلة محدَّدة تُطرَح في لحظات محدَّدة.
الأسئلة الأربعة التي تستحقّ أن تُطرَح في كلّ مشروع:
- من يتأثّر بهذا النظام، وما أسوأ ما يمكن أن يحدث له إن أخطأ؟
- هل قِسنا الأداء مفصَّلاً بحسب المجموعات، أم على المجموع فقط؟
- هل يستطيع المتأثّر أن يعرف السبب ويعترض؟
- من يوقّع على هذا القرار بالاسم؟
وأوّل سؤال هو الأهمّ، لأنّه يحدّد مستوى كلّ ما بعده.
التوثيق
التوثيق ليس عملاً بيروقراطياً بل شرط قابلية التدقيق. وما يجب أن يوجد لكلّ نظام ذي أثر:
عن البيانات: مصدرها، وطريقة جمعها، وسندها القانوني، وحدودها المعروفة، والمجموعات الممثَّلة والناقصة.
عن النموذج: غرضه المقصود، والاستخدامات غير الملائمة صراحةً، والمقاييس مفصَّلةً بحسب المجموعات، ومعيار الإنصاف المختار وسببه، والحدود المعروفة.
عن القرارات: من قرّر ماذا ومتى، وما المقايضات التي قُبِلت وسببها.
والفائدة الأكبر تظهر لاحقاً: عندما يُسأل الفريق بعد سنتين — من جهة تنظيمية أو من متضرّر — لا أحد يتذكّر. والتوثيق هو الذاكرة.
بعد الحادث
خطّة يجب أن تكون معدّة مسبقاً:
- كشف الحادث: كيف نعرف أنّ شيئاً سيّئاً يحدث؟ وهذا يعود إلى المراقبة في درس MLOps.
- الإيقاف: هل نستطيع تعطيل النظام بسرعة؟ ومن يملك هذه الصلاحية؟
- التصحيح: كيف نعالج أثر القرارات الخاطئة على من تأثّروا فعلاً؟
- الإبلاغ: من نبلّغ، وفي كم من الوقت؟
- الدرس: ما نغيّره في العملية لا في النموذج فقط.
والعنصر الثالث أكثرها إغفالاً: معالجة أثر القرارات الماضية. إذا كان النظام يرفض طلبات مجموعة بالخطأ ستّة أشهر، فإصلاح النموذج لا يعالج ما أصاب المتأثّرين.
في ثلاث جمل
الخوارزمية ليست شخصاً قانونياً، والمسؤولية تقع على من نشر النظام واستخدمه في قراره، و«النظام قرّر» ليس دفاعاً بل استخدامٌ للأتمتة في تمييع المسؤولية. ومستوى الحرص يتناسب مع أثر القرار على الأشخاص لا مع تعقيد النموذج، وبعض القرارات لا تُفوَّض إلى نظام آلي — ما يمسّ حقّاً أساسياً، وما لا يمكن التراجع عنه، وما لا يستطيع أحد تبريره — والصيغة الصحيحة فيها أنّ النظام يساعد والإنسان يقرّر ويوقّع. والرقابة البشرية تصبح ختماً شكلياً بلا وقت كافٍ ومعلومات كافية وصلاحية فعلية للمخالفة وحماية لمن يخالف، والتوثيق هو الذاكرة التي تجعل النظام قابلاً للتدقيق بعد سنوات.
التالي — الدرس 6: الملخّص والأسئلة الشائعة ←