الدرس 5 — الإنتاج
النموذج التجريبي الذي يعمل في دفتر ملاحظات بعيد جدّاً عن نظام إنتاجي. وهذا الدرس عن المسافة بينهما.
الكلفة: تُحسب بالرموز
الفاتورة تعتمد على عدد الرموز، مدخلاً ومخرجاً. والمخرج أغلى عادةً من المدخل.
وما يفاجئ الفرق أوّل مرّة: المدخل هو الذي ينفخ الفاتورة في أنظمة الاسترجاع. سؤال المستخدم عشرون رمزاً، والمقاطع المسترجَعة قد تكون ثلاثة آلاف رمز. أي أنّ 99% من كلفة المدخل ليست في السؤال.
ما يخفّض الكلفة فعلياً:
- تقليل عدد المقاطع المسترجَعة بإعادة ترتيب جيّدة. مقاطع أقلّ وأدقّ تعني كلفة أقلّ وجودة أعلى في الوقت نفسه.
- التخزين المؤقّت للسياق: إذا تكرّر جزء ثابت من الطلب في كلّ نداء، فمعظم المزوّدين يقدّمون تخفيضاً كبيراً عليه.
- التخزين المؤقّت للأجوبة: الأسئلة المتكرّرة كثيرة في أنظمة الدعم، وجواب محفوظ لا يكلّف شيئاً.
- التوجيه إلى نماذج مختلفة: نموذج رخيص للأسئلة البسيطة، وغالٍ للمعقّدة. أثره الأكبر عملياً.
- تحديد سقف للطول في المخرج.
قدّر: عدد الطلبات اليومي × متوسّط الرموز لكلّ طلب × سعر الرمز. كثير من المشاريع اكتشفت بعد النشر أنّ الكلفة الشهرية تتجاوز الميزانية بعشرة أضعاف، لأنّ التقدير لم يُعمَل قبل البناء. والحساب لا يستغرق أكثر من عشر دقائق.
زمن الاستجابة
النموذج يولّد رمزاً برمز، فالجواب الطويل يستغرق وقتاً بطبيعته.
الأرقام العملية: أوّل رمز يظهر بعد جزء من الثانية إلى ثانية، والجواب المكتمل من ثانيتين إلى عشر ثوانٍ بحسب الطول والنموذج.
وما يُحسِّن التجربة:
- البثّ التدريجي: عرض النصّ في أثناء توليده. لا يقلّل الزمن الكلّي، ويحسّن الإحساس تحسّناً كبيراً، وهو أرخص تحسين متاح.
- نموذج أصغر حيث تكفي جودته.
- التنفيذ غير المتزامن لما لا يحتاج جواباً فورياً.
التقييم: أصعب مسألة عملياً
هذه أكبر عقبة في المشاريع الجدّية، وأكثرها إهمالاً.
المشكلة: لا مقياس دقّة. المخرج نصّ حرّ، لا جواب مرجعي، والنتيجة تختلف بين نداءين للطلب نفسه. فكيف تعرف أنّ تعديلاً في الطلب حسّن النظام أو أفسده؟
ما يُستخدَم فعلاً:
مجموعة اختبار مرجعية. الأساس الذي لا بديل عنه: من 50 إلى 200 حالة نموذجية مع الجواب المتوقّع أو معايير القبول. تُشغَّل عند كلّ تعديل. بلا هذه المجموعة، أيّ حكم على تحسّن النظام انطباعي.
التقييم بنموذج آخر. نموذج يحكم على المخرجات بمعايير محدّدة. قابل للتوسّع، وله تحيّزاته، ويحتاج معايرةً على أحكام بشرية.
تقييم بشري على عيّنة. الأدقّ والأغلى. ضروري لمعايرة كلّ ما سبق.
مقاييس المنتج. الأصدق في النهاية: نسبة الأسئلة المحلولة، ومعدّل التصعيد إلى إنسان، ورضا المستخدم، ومعدّل إعادة الصياغة.
الأمن
حقن التوجيهات أخطر ما يواجه هذه الت طبيقات. نصّ في مستند أو صفحة أو رسالة يتضمّن تعليمات يتّبعها النموذج، لأنّه لا يفرّق بنيوياً بين تعليمات مالكه ونصّ يقرأه.
ولا حلّ كامل. والتخفيف طبقات:
- حصر الصلاحيات: النموذج لا يملك ما لا يحتاجه.
- معاملة كلّ محتوى خارجي كغير موثوق بشكل مبدئي.
- تأكيد بشري لكلّ إجراء حسّاس.
- تنقية المخرجات قبل استخدامها في نظام آخر.
- فصل التعليمات عن البيانات في بنية الطلب بأوضح شكل ممكن.
مخاطر أخرى تستحقّ الذكر: تسرّب معلومات من الطلب الجهازي أو من المستندات إلى مستخدم لا يحقّ له رؤيتها — وهذا يقتضي تصفية الصلاحيات في مرحلة الاسترجاع لا بعدها — واستنزاف الموارد بطلبات ضخمة متكرّرة، ويُدار بحدود معدّل الاستخدام.
تغيّر النسخ
مسألة تشغيلية تُهمَل حتى تصبح حادثاً: المزوّد يحدّث النموذج، فيتغيّر سلوكه.
الطلبات التي كانت تعمل تعطي مخرجات مختلفة، والتنسيق قد يتغيّر، والرفض قد يزيد أو يقلّ. وهذا حدث فعلياً لفرق كثيرة.
الحماية: تثبيت نسخة النموذج صراحةً لا استخدام المؤشّر العامّ، وتشغيل مجموعة الاختبار المرجعية قبل أيّ ترقية، ومتابعة إعلانات المزوّد عن إيقاف النسخ.
المراقبة: ماذا تسجّل
- كلّ الطلبات والأجوبة، مع مراعاة الخصوصية والمدد القانونية.
- زمن الاستجابة والكلفة لكلّ نداء.
- معدّل الأخطاء من المزوّد وحالات إعادة المحاولة.
- التغذية الراجعة من المستخدمين، ولو بزرّين للإعجاب وعدمه.
- في أنظمة الاسترجاع: أيّ مقاطع استُرجِعت لكلّ سؤال. هذا أهمّ سجلّ للتشخيص.
ودورة MLOps تفصّل هذا الجانب.
في ثلاث جمل
الكلفة تُحسب بالرموز، والمدخل هو ما ينفخها في أنظمة الاسترجاع، ويخفّضها تقليل المقاطع والتخزين المؤقّت والتوجيه بين نماذج مختلفة الأسعار. والتقييم أصعب مسألة لأنّ المخرج نصّ حرّ غير حتمي، ولا بديل عن مجموعة اختبار مرجعية من 50 إلى 200 حالة تُشغَّل عند كلّ تعديل. وحقن التوجيهات خطر بلا حلّ كامل يُدار بطبقات — حصر صلاحيات، ومعاملة المحتوى الخارجي كغير موثوق، وتأكيد بشري — وتثبيت نسخة النموذج ضروري لأنّ تحديث المزوّد يغيّر السلوك.
التالي — الدرس 6: الملخّص والأسئلة الشائعة ←