الوحدة 10 — التقييم قبل الضبط وبعده

النموذج المضبوط يُنتج نصًّا يبدو أفضل. لكنّ الشعور غير القياس، والقياس غير المنهجي غالبًا مضلّل. هذه الوحدة تُنظّم التقييم في ثلاث طبقات: مقاييس آلية على مهمّة الهدف، حكم بشري في الأعمى، واختبار انحدار على الكفاءات العامّة.

الشرط المسبق: جيب اختبار محفوظ

قبل أيّ تدريب، افرز جيب اختبار (test set) لا يُلمَس أبدًا. ليس مجموعة التحقّق (المستعملة أثناء التدريب لاختيار المعاملات الفائقة)، بل مجموعة ثالثة مستقلّة تمامًا. القسمة النموذجية:

• 80% تدريب (1600 مثال)
• 10% تحقّق (200 مثال، تُقاس عليها خسارة كلّ 100 خطوة)
• 10% اختبار (200 مثال، تُلمَس مرّة واحدة فقط عند التقييم النهائي)

القاعدة الذهبية: جيب الاختبار لا يُقاس عليه أثناء التطوير. إذا اطّلعت على أدائه وعدّلتَ المعاملات على ضوئه، فقد فُقد استقلاله وأصبح مجموعة تحقّق إضافية.

مقاييس آلية على مهمّة الهدف

لمهمّة توليد محاضر منظّمة، ثلاث فئات من المقاييس:

مقاييس الشكل: تُقاس امتثال المخرج للبنية المطلوبة.

• نسبة المحاضر التي تحتوي كلّ الأقسام المطلوبة (حاضرون، نقاط، قرارات، مهامّ)
• نسبة المحاضر التي تحترم عدد الأقسام المتوقّع
• نسبة المهامّ ذات تاريخ صحيح التنسيق

هذه المقاييس بسيطة كتابةً (تعابير نمطية أو محلّلات JSON) لكنّها تقيس مباشرة الفائدة الأولى للضبط الدقيق.

مقاييس التشابه النصّي: BLEU، ROUGE-L، BERTScore.

from evaluate import load

rouge = load("rouge")
results = rouge.compute(
    predictions=generated_summaries,
    references=reference_summaries,
)
print(results)  # {'rouge1': 0.42, 'rouge2': 0.19, 'rougeL': 0.31}

هذه المقاييس مؤشّرة لا حاكمة: نموذج يُنتج ملخّصًا صحيحًا بألفاظ مختلفة عن المرجع يحصل على ROUGE منخفض رغم جودته. استعملها للمقارنة بين نقاط تفتيش، لا كحكم مطلق.

مقاييس المحتوى: هل تظهر القرارات الفعلية في المحضر؟ هذا يتطلّب تعليم البيانات (المرجع يحوي قائمة قرارات مُلحقة)، ثمّ حساب نسبة الالتقاط (recall) والدقّة (precision) على القرارات المستخرَجة.

حكم بشري في الأعمى

المقاييس الآلية تفوت الكثير: قد يصنع النموذج ملخّصًا صحيح البنية، سطحيًّا لكن غير مضلّل، وتحصل عليه المقاييس على درجة عالية. أو قد يصنع ملخّصًا مركزًا وذكيًّا يستعمل ألفاظًا مختلفة، فيقع في مقاييس منخفضة.

الحكم البشري يبقى المرجع النهائي. لكن يجب أن يكون في الأعمى، أي دون أن يعرف المُقيِّم أي مخرج من أي نموذج. الترتيب النموذجي:

1. اجمع 30-50 مثال اختبار.
2. لكلّ مثال، ولِّد جوابًا من: النموذج الأصلي (قبل الضبط)، النموذج المضبوط، ومن الممكن نموذج مرجعي (GPT-4).
3. اعرض الأجوبة الثلاثة بترتيب عشوائي بلا تسمية للمُقيِّم.
4. اطلب تقييمًا على معايير محدّدة (0-5 لكلّ من: البنية، الاكتمال، الدقّة، القراءة).
5. احسب متوسّطات الأجوبة وحدّد أيّها الأفضل بأغلبية إحصائية.

هذه العملية تستغرق يومًا كاملًا لكنّها تعطي حكمًا موثوقًا يبرّر مواصلة التخصّص أو التوقّف عنده.

اختبار انحدار الكفاءات العامّة

الخطر الأخير الذي كثيرًا ما يُغفَل: النسيان الكارثي الجزئي. حتّى مع LoRA، ضبطُ نموذج على مهمّة ضيّقة قد يُدهور كفاءاته العامّة. مثال: نموذج مضبوط على محاضر اجتماعات قد يصبح أقلّ قدرة على الترجمة أو الحساب أو كتابة كود.

لقياس هذا، شغّل النموذج قبل وبعد الضبط على مقاييس عامّة:

• MMLU: 57 موضوعًا أكاديميًّا، مقياس معرفة عامّة.
• HellaSwag: استدلال منطقي على مواقف يومية.
• HumanEval أو MBPP: توليد كود Python.
• TruthfulQA: مقاومة الأسئلة المضلّلة.

في مكتبة lm-evaluation-harness:

lm_eval --model hf \
    --model_args pretrained=./meeting-model-merged \
    --tasks mmlu,hellaswag,humaneval \
    --device cuda:0 \
    --batch_size 8

القاعدة العملية: انحدار أقلّ من 3 نقاط مقبول، بين 3 و10 نقاط علامة تحذير، أكثر من 10 نقاط يعني أنّ الضبط ذهب بعيدًا وفقد النموذج عمومًا كفاءات مفيدة.

تخفيف الانحدار

إذا لاحظت انحدارًا كبيرًا، أدوات ممكنة:

• تقليل عدد الحقب أو معدّل التعلّم.
• إضافة أمثلة عامّة إلى مجموعة التدريب (5-10% من الحجم الكلّي) لتذكير النموذج بمهاراته الأصلية.
• رتبة LoRA منخفضة أكثر ($r = 8$ بدل 32).
• استعمال المحوّل ديناميكيًّا دون دمج، والعودة إلى النموذج الأصلي للمهامّ العامّة.

تقرير التقييم النهائي

قبل الإنتاج، ولِّد تقريرًا موحّدًا يحوي:

المقياس	قبل الضبط	بعد الضبط	التغيّر
نسبة البنية الكاملة	45%	92%	+47
ROUGE-L	0.22	0.31	+0.09
التقاط القرارات	61%	88%	+27
MMLU	62.4	61.1	-1.3
HumanEval	45.2	43.8	-1.4
حكم بشري (0-5)	2.8	4.1	+1.3

الرسالة: مكاسب كبيرة على الهدف، انحدار مقبول على العامّ. القرار: مضاءات الإنتاج خضراء.

قاعدة الالتزام

قبل بدء التدريب، اكتب التقرير المتوقّع فارغًا. حدّد المقاييس التي ستقاس، والأدنى المقبول لكلّ منها. هذا يمنع الخداع الذاتي عند رؤية النتائج.

فخّ التقييم على مجموعة التحقّق

تقييم أداء النموذج على مجموعة التحقّق التي اختيرت عليها المعاملات الفائقة يعطي أرقامًا متفائلة. الاختبار على جيب مستقلّ يعطي غالبًا نتائج أدنى بـ2-5 نقاط. لا تخلط بينهما في التقرير النهائي.

الخلاصة

• جيب اختبار محفوظ من البداية، لا يُقاس عليه إلّا مرّة واحدة عند النهاية.
• مقاييس الشكل والتشابه والمحتوى تُغطّي جوانب مختلفة؛ لا مقياس واحد يكفي.
• الحكم البشري في الأعمى يبقى المرجع النهائي، خاصّة لمهامّ التوليد.
• اختبار انحدار على مقاييس عامّة (MMLU، HumanEval) يكشف النسيان الكارثي الجزئي.

في الوحدة الأخيرة: مراجعة كاملة للدورة، قائمة تحقّق للضبط الدقيق، والامتحان.