الدرس 1 — ما هو النموذج اللغوي الكبير
الاسم يوصف البنية بدقّة: نموذج لغوي — يتوقّع نصّاً — وكبير، وهذه الكلمة الثانية هي التي غيّرت كلّ شيء.
البنية: لا شيء جديد
النموذج اللغوي الكبير محوّل كما شرحه درس المتتاليات، مدرَّب على المهمّة التي وصفها درس توليد النصّ: توقّع الرمز التالي.
ولا يوجد فيه مبدأ جديد. المعمارية من 2017، ومهمّة التدريب أقدم منها بكثير. ما تغيّر هو النطاق فقط.
وهذه النقطة تستحقّ التأكيد لأنّها مفاجئة: القدرات التي أبهرت الناس سنة 2023 لم تأتِ من اختراع مفهومي، بل من تكبير شيء كان معروفاً.
ماذا يعني «كبير»
ثلاثة أبعاد تكبر في الوقت نفسه:
المعاملات: عدد الأوزان القابلة للتعلّم. من ملايين في النماذج القديمة إلى مليارات ومئات المليارات في النماذج الحديثة. وهي «سعة» النموذج على تخزين الأنماط.
البيانات: تريليونات الرموز. جزء كبير من الشبكة العامّة، وكتب، ومستودعات كود، وموسوعات. حجم لا يستطيع بشر قراءته في آلاف الأعمار.
الحساب: آلاف من المعالجات المتخصّصة تعمل أسابيع أو أشهراً. وكلفة تدريب نموذج رائد تُقاس بملايين الدولارات، وهذا سبب تمركز التدريب في عدد قليل من الجهات.
اكتُشف أنّ جودة النموذج تتحسّن مع الحجم بعلاقة يمكن التنبّؤ بها. وهذا حوّل التدريب من مجازفة بحثية إلى استثمار محسوب: صار ممكناً تقدير جودة نموذج قبل تدريبه. ولهذا برّرت الشركات نفقات لم تكن مبرَّرة قبلها. وقد ظهر لاحقاً أنّ جودة البيانات لا كمّيتها وحدها عامل حاسم، فتوقّف السعي إلى الحجم المطلق بأيّ ثمن.
القدرات الناشئة
الظاهرة الأغرب: قدرات تظهر عند حجم معيّن ولم تكن موجودة أصغر منه، ولم يُدرَّب النموذج عليها صراحةً.
النموذج مدرَّب على توقّع الرمز التالي فقط، ومع ذلك يستطيع:
- الترجمة بين لغات لم تُقدَّم له كأزواج مترجَمة.
- التعلّم من أمثلة في الطلب بلا أيّ تحديث لأوزانه.
- كتابة كود يعمل بلغات كثيرة.
- التلخيص وإعادة الصياغة بأساليب مختلفة.
- حلّ مسائل بخطوات وسيطة.
والتفسير المطروح: توقّع الرمز التالي على تريليونات الرموز يقتضي — ضمناً — تعلّم بنية لغوية ومعرفة عن العالم وأنماط استدلال، لأنّها ضرورية للتوقّع الجيّد. النموذج لم يُدرَّب على الترجمة، لكن توقّع النصّ في متن متعدّد اللغات لا يستقيم بلا شيء يشبه القدرة على الترجمة.
مصطلح «القدرات الناشئة» محلّ نقاش. بعض الدراسات أظهرت أنّ ظهور القدرة «المفاجئ» قد يكون أثراً لطريقة القياس: مقياس ثنائي يعطي صفراً حتى نقطة معيّنة ثمّ يقفز، بينما التحسّن الأساسي كان تدريجياً. الظاهرة حقيقية، وحدّتها المفاجئة مبالَغ فيها أحياناً.
الأحجام والاستخدامات
| الحجم | القدرات | الاستخدام المناسب |
|---|---|---|
| صغير (أقلّ من 10 مليارات) | مهامّ محدّدة بعد صقل | تصنيف، استخراج، تشغيل على الجهاز |
| متوسّط (10 إلى 100 مليار) | توازن جيّد | معظم التطبيقات الإنتاجية |
| كبير (أكثر من 100 مليار) | استدلال معقّد، مهامّ مفتوحة | حين تحتاج الأقوى فعلاً |
وقاعدة عملية تخالف الحدس السائد: في مهمّة محدّدة، نموذج صغير مصقول على بياناتك يتجاوز نموذجاً عامّاً كبيراً، بكلفة أقلّ بمراتب وزمن استجابة أقصر. الحجم يفيد في المهامّ المفتوحة والمعقّدة، لا في كلّ شيء.
النموذج الأساسي والنموذج المصقول
تمييز يوضح كثيراً من الالتباس:
النموذج الأساسي ناتج التدريب المسبق وحده. يكمل النصّ ولا «يجيب أسئلة»: إذا أعطيته سؤالاً، قد يولّد أسئلة أخرى مشابهة، لأنّ هذا استمرار محتمل لقائمة أسئلة.
النموذج المصقول على التعليمات مرّ بمراحل إضافية تعلّم فيها اتّباع التعليمات والإجابة. وهو ما تستخدمه في أيّ أداة محاورة.
والفرق بينهما جوهري، وهو موضوع الدرس التالي.
مغلق أو مفتوح الأوزان
| مغلق | مفتوح الأوزان | |
|---|---|---|
| الوصول | واجهة برمجية مدفوعة | تنزيل وتشغيل محلّي |
| البيانات | تخرج إلى المزوّد | تبقى في محيطك |
| الكلفة | لكلّ استخدام | عتاد وتشغيل |
| التحكّم في النسخة | للمزوّد | لك |
| الجودة العليا | الأقوى غالباً | تقارب بسرعة |
| العبء التشغيلي | منخفض | مرتفع |
القرار يُحسم غالباً بحساسية البيانات لا بفارق الجودة، ويتناوله درس الاعتماد.
في ثلاث جمل
النموذج اللغوي الكبير محوّل مدرَّب على توقّع الرمز التالي، وما تغيّر ليس المبدأ بل النطاق: مليارات المعاملات وتريليونات الرموز وحساب بملايين الدولارات. وقوانين النطاق جعلت الجودة قابلة للتنبّؤ فبرّرت هذه الاستثمارات، وظهرت قدرات لم يُدرَّب عليها النموذج صراحةً لأنّ التوقّع الجيّد يقتضي ضمناً بنية لغوية ومعرفة وأنماط استدلال. والأكبر ليس الأفضل دائماً: في مهمّة محدّدة، نموذج صغير مصقول يتجاوز نموذجاً عامّاً كبيراً بكلفة أقلّ بمراتب.
التالي — الدرس 2: مراحل التدريب ←