الدرس 2 — مراحل التدريب
النموذج الذي تحاوره ليس ناتج تدريب واحد بل ثلاث مراحل متمايزة، كلّ منها تضيف شيئاً مختلفاً. وفهم هذا التمييز يفسّر معظم سلوك النموذج.
المرحلة 1 — التدريب المسبق: تعلّم اللغة والعالم
المهمّة: توقّع الرمز التالي على تريليونات الرموز.
المدّة والكلفة: أسابيع إلى أشهر، وملايين الدولارات، وآلاف المعالجات المتخصّصة.
الناتج: النموذج الأساسي. يعرف قواعد اللغة، وكمّاً هائلاً من الوقائع، وأنماط الاستدلال، وأساليب الكتابة. ولا يعرف أن يكون مساعداً.
هذه المرحلة تشكّل 99% من الحساب و99% من المعرفة. وكلّ ما يأتي بعدها يعدّل السلوك لا المعرفة.
وهنا يظهر مفهوم قطع بيانات التدريب: النموذج لا يعرف شيئاً حدث بعد تاريخ جمع بياناته. وسؤاله عن حدث حديث يعطي إمّا اعترافاً بالجهل أو — وهو الأسوأ — إجابة مختلَقة بثقة.