الوحدة 7 — الإشراف البشريّ وسبل الطعن
يفرض القانون الأوروبيّ للذكاء الاصطناعي (الوحدة 8) على الأنظمة عالية الخطر إشرافًا بشريًّا فعليًّا. الصياغة تبدو بسيطة، وتخفي أسئلة صعبة: ما معنى «الإشراف»؟ من هو الإنسان المُشرِف؟ كيف نضمن أنّ إشرافه ليس ختمًا مطاطيًّا؟ تُفصّل هذه الوحدة المفاهيم وتُقدّم إجراء طعن قابلًا للتنفيذ لنموذج القرض.
الإنسان في الحلقة، فوق الحلقة، خارجها
تُميّز الأدبيّات ثلاثة أشكال للتدخّل البشريّ. الفهم الصحيح لها ضروريّ لتصميم النظام.
الإنسان في الحلقة (human in the loop): كلّ قرار يُقترح من النموذج ويُوقَّع بشريًّا قبل التنفيذ. مناسب للحالات الحرجة (تشخيص طبّيّ نادر، قروض كبيرة). كلفته عالية، وسرعته منخفضة.
الإنسان فوق الحلقة (human on the loop): النموذج يقرّر آليًّا، والإنسان يراقب مؤشّرات الأداء والانحراف، ويتدخّل عند الحاجة أو بناء على شكوى. مناسب للحالات ذات الحجم الكبير (كلّ طلبات القرض تحت عتبة).
الإنسان خارج الحلقة (human out of the loop): لا تدخّل بشريّ، النظام يعمل تلقائيًّا. مقبول للحالات منخفضة الخطر فقط (توصية فيلم، ترتيب قوائم).
نموذج القرض في خيطنا الأحمر يعمل بنمط هجين: قبول تلقائيّ لأصحاب الملفّات الممتازة (درجة > 0.8)، رفض تلقائيّ لأصحاب الملفّات دون العتبة الدنيا (درجة < 0.2)، مراجعة بشريّة لكلّ ما بينهما. هذا التصميم يُبقي التكلفة معقولة مع تدخّل بشريّ حيث الحكم أصعب.
انحياز الأتمتة: العدوّ الصامت
الإنسان الّذي يفترض أنّه يُشرف كثيرًا ما لا يفعل. أظهر مسكوفيتش وآخرون في 1999 (على نظام مساعدة تشخيصيّ للطيّارين) أنّ الأخصّائيّين يقبلون توصية النظام في 96 % من الحالات، بما فيها الحالات التي كان النظام مخطئًا فيها. هذا هو انحياز الأتمتة: ميل الإنسان إلى الثقة بمخرج آليّ حتى في وجود مؤشّرات مخالفة.
على قاعدة قرضنا، أجرينا اختبارًا مماثلًا: عرضنا على المستشارين ملفّات مع اقتراح النموذج، وقياسنا معدّل الاختلاف. النتيجة: 3 % فقط من قرارات النموذج تغيّرت بعد المراجعة البشريّة. عندما أعدنا العرض دون اقتراح النموذج، عاد المعدّل إلى 22 %. الإشراف الّذي يعرض القرار الآليّ أوّلًا يفقد معظم قيمته.
الحلّ ليس إلغاء العرض، بل تصميم واجهة تدفع نحو التفكير: عرض الملفّ أوّلًا، ثمّ طلب تقييم بشريّ قبل إظهار اقتراح النموذج، ثمّ إظهار الاقتراح والفارق. الفارق نفسه يُصبح نقطة تعلّم.
الحقّ في التفسير
المادّة 22 من اللائحة الأوروبيّة العامّة لحماية البيانات تمنح كلّ شخص خضع لقرار «آليّ بالكامل ذي أثر قانونيّ» ثلاثة حقوق: الحصول على تدخّل بشري ّ، والتعبير عن وجهة نظره، والاعتراض على القرار. تُضيف بعض القوانين الوطنيّة حقّ الحصول على معلومات مفيدة عن منطق النظام.
على نموذج القرض، يعني هذا:
- رسالة الرفض تحمل: القرار، والسبب المختصر بلغة طبيعيّة (المتغيّرات الثلاثة الأكثر وزنًا من SHAP، مُصاغة بشريًّا)، ومهلة الطعن (30 يومًا)، وعنوان بريد إلكترونيّ للتواصل، ورمز مرجع.
- عند الطعن، يُحال الملفّ إلى مستشار مختلف عن الّذي شارك في القرار الأوّل، ولا يرى اقتراح النموذج قبل تكوين رأيه.
- القرار الثاني يُرسَل خطّيًّا في أجل 30 يومًا، مع الأسباب.
- الطعن على الطعن يُحال إلى وسيط القطاع البنكيّ، ثمّ إلى القضاء المدنيّ.
قياس الطعن، لا فقط تنفيذه
النظام الّذي يقبل الطعون ولكنّه يرفضها كلّها ليس نظامًا طاعنًا. المؤشّرات الّتي يجب متابعتها:
- معدّل الطعون: نسبة الملفّات المرفوضة الّتي تُقدّم طعنًا.
- معدّل قلب القرار: نسبة الطعون التي تنتهي بعكس القرار الأوّل. معدّل مرت فع (> 20 %) يعني أنّ نموذج القرار الأوّل يخطئ منتظمًا.
- زمن المعالجة: متوسّط الأيّام بين الطعن والقرار الثاني.
- معدّل الشكاوى عند الجهة المنظّمة: مؤشّر خارجيّ يكشف عيوبًا لا تظهر داخليًّا.
هذه المؤشّرات تُدرَج في تقرير ربع سنويّ يُعرَض على لجنة الأخلاقيّات، لا في تقرير ماليّ صرف.
الحدود العمليّة
الإنسان المُشرف بحاجة إلى الوقت والسلطة والتدريب. مستشار يعالج 200 ملفّ يوميًّا لا يشرف فعليًّا. مستشار ليس له صلاحية قلب القرار لا يشرف. مستشار لم يتلقَّ تدريبًا على قراءة تفسير SHAP لا يعرف كيف يشرف.
هذه الشروط الثلاثة تُدرَج في بطاقة النموذج (الوحدة 6) تحت «توصيات النشر». حين لا تُستوفى، الإشراف رسميّ لا فعليّ، ويظلّ النظام معرَّضًا في التدقيق.
الإشراف البشريّ الاسميّ (المستشار يمرّ بالملفّ في ثوانٍ) أخطر من عدم الإشراف، لأنّه يوفّر غطاءً مؤسّسيًّا للقرارات الآليّة دون تصحيحها. القياس الوحيد الحقيقيّ للإشراف هو معدّل قلب القرار، لا وجود التوقيع.
الخلاصة
- ثلاثة أشكال للإشراف: في الحلقة، فوقها، خارجها، بحسب مستوى المخاطر ووتيرة القرار.
- انحياز الأتمتة يجعل الإشراف صوريًّا؛ يُخفَّف بواجهة تطلب رأي الإنسان قبل إظهار اقتراح النموذج.
- الحقّ في التفسير والطعن يتطلّب رسالة مفهومة، مستشارًا ثانيًا مستقلًّا، وأجلًا محدَّدًا، ووسيطًا خارجيًّا.
- قياس الإشراف بمعدّل قلب القرار وزمن المعالجة ومعدّل الشكاوى، لا بوجود التوقيع فقط.
الوحدة القادمة: القانون الأوروبيّ للذكاء الاصطناعي، ولماذا يُصنَّف نموذج القرض «عالي الخطر»، وما يترتّب على ذلك.