الدرس 3 — توليد النصّ
المبدأ هنا مختلف تماماً عن الانتشار، وهو أبسط منه بشكل مفاجئ.
رمز واحد في كلّ مرّة
النموذج اللغوي يفعل شيئاً واحداً: يتوقّع الرمز التالي.
يأخذ كلّ النصّ السابق، ويحسب توزيعاً احتمالياً على كلّ الرموز الممكنة، ويعاين واحداً، ويضيفه إلى النصّ، ثمّ يعيد العملية كلّها بالنصّ الذي صار أطول.
هذا كلّ شيء. والنصّ الذي يبدو مخطَّطاً ومنظَّماً في فقرات مبنيّ رمزاً برمز، بلا خطّة مسبقة ولا هدف نهائي محدَّد.
النموذج لا يعرف كيف ستنتهي جملته عندما يبدأها. وهذا يفسّر سلوكيات كثيرة: التزامه بمسار خاطئ بدأه، وقدرته على تصحيح نفسه إذا طُلب منه ذلك، وتحسّن أدائه عندما يُطلب منه أن «يفكّر خطوةً بخطوة» — لأنّ إخراج الخطوات إلى النصّ يعطيه سياقاً يبني عليه، وهو ما لا يستطيع فعله داخلياً.
الحرارة: من الحتمي إلى الخلّاق
عند كلّ خطوة، للنموذج توزيع احتمالي. وكيف يُختار الرمز منه؟
الحرارة معامل يضبط ذلك:
| الحرارة | السلوك | الاستخدام المناسب |
|---|---|---|
| قريبة من 0 | يختار الأعلى احتمالاً دائماً | استخراج بيانات، تصنيف، كود، تكرار مطلوب |
| متوسّطة (0.7 تقريباً) | توازن معتاد | حوار، شرح، أعمال عامّة |
| مرتفعة (أكثر من 1) | يجازف بالرموز غير المتوقّعة | عصف ذهني، صياغات بديلة |
| مرتفعة جدّاً | نصّ مفكَّك وغير متّسق | لا شيء عملياً |
القاعدة العملية: حرارة منخفضة لكلّ ما يجب أن يكون صحيحاً، ومرتفعة لكلّ ما يجب أن يكون متنوّعاً. وأكثر خطأ شائع هو تشغيل مهمّة استخراج بيانات على الإعداد الافتراضي، فتحصل على تنسيق مختلف في كلّ نداء.
نافذة السياق
النموذج يرى عدداً محدوداً من الرموز في المرّة الواحدة، وهذه نافذة السياق. وهي تشمل طلبك وكلّ المحادثة السابقة والمستندات التي أعطيتها والجواب الذي يولّده.
الحدود توسّعت كثيراً — من آلاف إلى مئات آلاف الرموز — وبقيت ثلاث مسائل عملية:
- الكلفة تنمو مع الطول، وبشكل أسرع من الخطّي في آلية الانتباه.
- الانتباه يخفت في الوسط: تجارب متكرّرة تُظهر أنّ المعلومة في منتصف سياق طويل جدّاً تُستخدَم أقلّ من التي في أوّله أو آخره. موضع المعلومة المهمّة يهمّ فعلاً.
- الخروج من النافذة يعني الاختفاء: ما تجاوز الحدّ في محادثة طويلة يُنسى تماماً، بلا إشعار.
وهذا يفسّر لماذا تتدهور المحادثات الطويلة جدّاً، ولماذا يكون بدء محادثة جديدة أفضل غالباً من الإصرار على تصحيح واحدة طويلة.
لماذا يبدو واثقاً وهو مخطئ
نقطة تستحقّ الفهم لأنّها سبب معظم سوء الاستخدام.
النموذج مدرَّب على توليد النصّ الأكثر احتمالاً، والنصّ البشري المكتوب بثقة أكثر شيوعاً في بيانات التدريب من النصّ المتردّد. فتكون الصياغة الواثقة أرجح إحصائياً، بمعزل تماماً عن صحّة المضمون.
النتيجة: درجة الثقة في الأسلوب ليست مؤشّراً على صحّة المعلومة. وهذا معاكس لحدسنا مع البشر، حيث التردّد إشارة مفيدة عادةً. ومع النموذج، لا إشارة.
توليد الكود: الحالة الخاصّة الأنجح
النصّ البرمجي مجال نجح فيه التوليد نجاحاً استثنائياً، لثلاثة أسباب بنيوية:
- الكود منظَّم للغاية، بقواعد صارمة وأنماط متكرّرة، وهذا يناسب توقّع الرمز التالي تماماً.
- الكود قابل للتحقّق: تشغّله فتعرف إن كان يعمل. وهذه حلقة تغذية راجعة غير متاحة في النصّ العادي.
- بيانات التدريب هائلة ونظيفة نسبياً: مستودعات عامّة ضخمة.
والحدود الباقية حقيقية: الكود المولَّد قد يبدو صحيحاً ويكون خاطئاً بشكل خفيّ، وقد يستدعي دوالّ غير موجودة، وقد يتضمّن أنماطاً غير آمنة. ولهذا القاعدة ثابتة: راجِع كلّ ما يُولَّد، ولا تدمج ما لا تفهمه.
في ثلاث جمل
توليد النصّ توقّعٌ للرمز التالي يتكرّر، والنموذج لا يعرف كيف ستنتهي جملته حين يبدأها، ولهذا يتحسّن أداؤه عندما تُخرَج خطوات التفكير إلى النصّ. والحرارة تضبط المقايضة بين الحتمية والتنويع، والقاعدة حرارة منخفضة لما يجب أن يكون صحيحاً ومرتفعة لما يجب أن يكون متنوّعاً. ونافذة السياق محدودة، والانتباه يخفت في وسطها، ودرجة الثقة في الأسلوب ليست دليلاً على صحّة المضمون لأنّ النصّ الواثق أرجح إحصائياً بمعزل عن صوابه.
التالي — الدرس 4: كيف تُحسن الاستخدام ←