الوحدة 10 — دراسة حالة: تدقيق نظام قرار كامل

جامعنا في تسع وحدات كلّ ما يلزم لبناء نظام مسؤول. تُطبّق هذه الوحدة الأخيرة الإطار كاملًا على الخيط الأحمر: نموذج القرض القائم، الّذي دخل الإنتاج قبل عام. ندخل من زاوية المدقّق الخارجيّ ونكتب التقرير الّذي ستتلقّاه المديرة العامّة يوم الجمعة.

قائمة التدقيق: أربعة أعمدة

نستعمل شبكة من أربعة أعمدة، مطبَّقة على كلّ من الوحدات 1 إلى 9.

العمود 1: الملاحظة الميدانيّة. ما وجدناه على الأرض، بالوثائق والحوارات وقراءة الشِفرة.

العمود 2: التوقّع من الإطار. ما يفترضه المبدأ أو النصّ القانونيّ.

العمود 3: الفجوة. الفارق بين الاثنَين، مصنَّفًا: حرج، مهمّ، تحسين.

العمود 4: التدبير التصحيحيّ. ما يجب فعله، بمن، بأيّ أفق.

مثال مصغَّر: بعض النتائج

البند: مقاييس الإنصاف (الوحدة 3)

• الملاحظة: يُقاس التكافؤ الديمغرافيّ فقط، شهريًّا، على مجموعة الجنس فقط.
• التوقّع: قياس تكافؤ الفرص (المقياس المُعلَن) على كلّ الفئات المحميّة (الجنس، الفئة العمريّة، الجنسيّة).
• الفجوة: مهمّ. المقياس المُقاس ليس المقياس المُختار.
• التصحيح: تحديث لوحة القيادة بـFairlearn، إضافة تكافؤ الفرص وثلاث فئات محميّة، مع إنذار عند تجاوز 0.03. المسؤول: قائد فريق البيانات. الأفق: 30 يومًا.

البند: التوثيق (الوحدة 6)

• الملاحظة: بطاقة النموذج غير موجودة؛ يوجد ملفّ README.md من صفحة واحدة يشرح كيفيّة نشر النموذج.
• التوقّع: بطاقة نموذج وفق قالب ميتشل، وورقة بيانات وفق قالب غيبرو.
• الفجوة: حرج (بند إلزاميّ في المادّة 11 من القانون الأوروبيّ للذكاء الاصطناعي).
• التصحيح: صياغة البطاقة والورقة، مراجعة بلجنة الأخلاقيّات، نشر داخليّ. المسؤول: عالمة البيانات الرئيسة. الأفق: 60 يومًا.

البند: الإشراف البشريّ (الوحدة 7)

• الملاحظة: المستشارون يوقّعون على قرارات النموذج بمعدّل 12 ثانية لكلّ ملفّ.
• التوقّع: مراجعة فعليّة مع قدرة على قلب القرار.
• الفجوة: حرج. الإشراف صوريّ.
• التصحيح: إعادة تصميم الواجهة (عرض الملفّ قبل الاقتراح)، تدريب المستشارين على قراءة SHAP، خفض عبء الملفّات إلى 40 يوميًّا للمشمولين بالمراجعة. المسؤول: مدير التشغيل. الأفق: 90 يومًا.

البند: القرار الآليّ (الوحدة 9)

• الملاحظة: رسالة الرفض تحمل نصًّا موحَّدًا «لم تُستوفَ معايير المنح»، بلا أسباب محدَّدة، بلا مهلة طعن.
• التوقّع: أسباب من SHAP، مهلة 30 يومًا، عنوان تواصل.
• الفجوة: حرج (خرق للمادّة 22 من RGPD).
• التصحيح: إعادة صياغة الرسالة، بناء مسار الطعن (عرَّفناه في الوحدة 7). المسؤول: المستشار القانونيّ للحماية. الأفق: 45 يومًا.

تقرير التدقيق: بنية مقترحة

يُقدَّم تقرير التدقيق في خمسة أقسام قصيرة يمكن قراءتها من مديرة عامّة في نصف ساعة.

1. الملخّص التنفيذيّ (صفحة واحدة). ثلاث فقرات: ما وجدناه، أخطر ثلاث فجوات، التوصية العامّة (نواصل مع تصحيحات، نوقف مؤقّتًا، نُلغي).

2. المنهجيّة. الوثائق المفحوصة، الأشخاص المُقابَلون، الاختبارات المُنفَّذة، الحدود (ما لم نتمكّن من فحصه).

3. النتائج التفصيليّة. الشبكة الرباعيّة السابقة، بنداً بنداً، مع الأدلّة.

4. المخاطر المتبقّية. ما لا يمكن تصحيحه فورًا، والمخاطر المُقبَلة معلَنة (مع توقيع من الجهة المعنيّة).

5. الجدول الزمنيّ للتصحيحات. مخطّط غانت مبسَّط بستّة أشهر أقصى، مع مالك لكلّ إجراء.

المقياس الحقيقيّ للنجاح

نظام قرار مسؤول ليس نظامًا بلا خطأ. هو نظام:

• يعلم أين يخطئ (المؤشّرات المقسَّمة على الفئات موجودة ومتابَعة).
• يقدّم تفسيرًا مفهومًا لكلّ قرار يمسّ الشخص.
• يُمكّن الطعن الفعليّ بمستشار مستقلّ.
• يُوَثَّق بمستوى يسمح بتدقيق خارجيّ في أيّ لحظة.
• يُوقَف تلقائيًّا عند خروج المؤشّرات عن العتبات المُعلَنة.

النموذج الّذي راجعناه يستوفي عمومًا الشرط الأوّل (بجودة متوسّطة)، ولا يستوفي الأربعة الأخرى. من هنا التوصية بـتعليق مؤقّت للاعتماد التلقائيّ، مع الاستمرار في الوضع «مساعدة قرار» تحت إشراف بشريّ كامل، حتى تُطبَّق التصحيحات.

ما كان ينبغي فعله قبل النشر

المفارقة الأخيرة: كلّ ما اقترحناه من تصحيحات كان بالإمكان تصميمه من اليوم الأوّل. الإطار العمليّ الّذي كان سيوفّر ستّة أشهر من العمل التصحيحيّ:

1. تحليل مخاطر أوّليّ (وحدة 1 + وحدة 9).
2. مسح مصادر التحيّز على البيانات الأوّليّة (وحدة 2).
3. اختيار مقياس إنصاف مبرَّر (وحدة 3).
4. اختيار نموذج قابل للتفسير أو تخطيط لتفسير SHAP (وحدة 4).
5. سياسة بيانات: تقليل، إخفاء هويّة، تفاضلية إذا لزم (وحدة 5).
6. بطاقة نموذج وورقة بيانات كأوّل ما يُكتَب (وحدة 6).
7. تصميم واجهة إشراف تحارب انحياز الأتمتة (وحدة 7).
8. تصنيف القانونيّ ثمّ استخراج قائمة الالتزامات (وحدة 8).
9. إجراء الطعن ورسالة الرفض قبل السطر الأوّل من الشِفرة (وحدة 9).

الدرس الوحيد الّذي يبقى

الحوكمة الأخلاقيّة تُدمَج مبكرًا أو تُدفَع لاحقًا بأربعين ضعف الكلفة. لا يوجد استثناء موثَّق.

الخلاصة

• التدقيق يعمل بشبكة رباعيّة: الملاحظة، التوقّع، الفجوة، التصحيح، مطبَّقة على الوحدات التسع السابقة.
• تقرير التدقيق يُكتَب في خمسة أقسام يمكن قراءتها في نصف ساعة، مع أدلّة وجدول زمنيّ.
• نظام مسؤول ليس نظامًا بلا خطأ، بل نظام يعلم أخطاءه، ويُفسّرها، ويُمكّن الطعن، ويُوَثَّق، ويُوقَف تلقائيًّا عند الحاجة.
• التصحيح اللاحق أكلف بأربعين مرّة من التصميم الصحيح مبكرًا؛ الحوكمة الأخلاقيّة استثمار لا كلفة.

الفصل التالي: خلاصة الدورة والامتحان النهائي.