الدرس 5 — الكلفة ونقل التعلّم
هذا الدرس عن الاقتصاد لا عن الرياضيات، وهو ما يحدّد إن كان مشروعك ممكناً أصلاً.
كلفة التدريب من الصفر
تدريب نموذج عميق من الصفر يقتضي ثلاثة أشياء، وكلٌّ منها قد يكون العقبة:
البيانات. مصنّف صور دُرِّب من الصفر يحتاج آلاف الأمثلة لكلّ صنف. ونموذج لغوي كبير يحتاج آلاف مليارات الكلمات. وهذا وحده يقصي معظم المشاريع.
الحساب. تدريب معمارية رؤية متوسّطة على مجموعة كبيرة يستهلك أيّاماً من معالج رسومي واحد. أمّا النماذج اللغوية الرائدة فتدريبها يقاس بآلاف المعالجات لأسابيع، وبكلفة تُقدَّر بملايين الدولارات.
الخبرة. اختيار المعمارية والمعاملات الفائقة وتشخيص فشل التدريب عمل خبير، ولا يُنجَز بالتجربة العشوائية في زمن معقول.
التدريب حدث نادر ومكلف؛ والاستنتاج متكرّر ورخيص لكلّ طلب. لكن انتبه: على النطاق الكبير، مجموع كلفة الاستنتاج يتجاوز غالباً كلفة التدريب، لأنّه يحدث مليارات المرّات. ولهذا تُستثمر جهود كبيرة في تصغير النماذج وتسريعها بعد تدريبها.
نقل التعلّم: الحلّ الذي غيّر الاقتصاد
الفكرة تنبع مباشرةً من التسلسل الهرمي في الدرس الثاني: الطبقات الأولى تتعلّم شيئاً عامّاً، والطبقات الأخيرة هي المتخصّصة.
الحدود والملامس موجودة في كلّ الصور، سواء كانت صور قطط أو صور أشعّة صناعية. إذاً: خُذ نموذجاً دُرِّب على ملايين الصور، واحتفظ بما تعلّمه من تمثيلات عامّة، وأعد تدريب الجزء الأخير فقط على مهمّتك.
النتيجة العملية مذهلة: مشروع كان يحتاج مئة ألف صورة وأسبوعين من التدريب يصبح مشروعاً بألف صورة وعشرين دقيقة.
ثلاث درجات من نقل التعلّم
| المقاربة | ما يحدث | الأمثلة المطلوبة | حين تُستخدم |
|---|---|---|---|
| استخراج السمات | تجميد كلّ الطبقات، وتدريب مصنّف بسيط على مخرجاتها | مئات | بيانات قليلة جدّاً، ومجال قريب |
| الصقل الجزئي | تجميد الطبقات الأولى، وتدريب الأخيرة | آلاف قليلة | الحالة الأكثر شيوعاً |
| الصقل الكامل | تدريب كلّ الطبقات بمعدّل تعلّم صغير | آلاف كثيرة | مجال بعيد عن التدريب الأصلي |
قاعدة الاختيار تعتمد على أمرين: كم بيانات لديك، وكم مجالك قريب من المجال الأصلي. بيانات قليلة ومجال قريب: استخراج سمات. بيانات كثيرة ومجال بعيد: صقل كامل. والوسط بينهما هو الصقل الجزئي، وهو ما تفعله معظم المشاريع.
استخدام معدّل تعلّم كبير في الصقل يمحو ما تعلّمه النموذج الأصلي — وهي ظاهرة تُسمّى النسيان الكارثي. القاعدة: معدّل تعلّم أصغر بكثير ممّا تستخدمه في تدريب من الصفر، غالباً ب عشر مرّات أو أكثر.
الصقل الفعّال في النماذج الكبيرة
مع النماذج اللغوية بمليارات المعاملات، حتى الصقل صار مكلفاً: تحديث كلّ المعاملات يقتضي ذاكرة هائلة.
والحلّ الذي انتشر هو الصقل الفعّال في المعاملات، وأشهره LoRA: بدل تعديل الأوزان الأصلية، تُضاف مصفوفات صغيرة تتعلّم التعديل المطلوب، وتُدرَّب هي فقط. النتيجة: أقلّ من 1 % من المعاملات تُدرَّب، بأداء قريب من الصقل الكامل، وبذاكرة تسمح بالعمل على معالج رسومي واحد.
هذا هو ما جعل صقل النماذج اللغوية على بيانات مؤسّسة أمراً ممكناً لفريق صغير، بدل أن يبقى حكراً على مخابر كبرى.
متى لا تحتاج إلى صقل أصلاً
قبل الصقل، اسأل إن كنت تحتاجه:
- الطلب الموجَّه (prompting): مع نموذج لغوي قويّ، صياغة تعليمات جيّدة تحلّ كثيراً من المهامّ بلا تدريب. أرخص وأسرع للتجربة.
- الاسترجاع (RAG): إذا كانت المشكلة «النموذج لا يعرف مستنداتنا»، فالحلّ ليس الصقل بل إعطاء المستندات في السياق. وهذا موضوع في دورة النماذج اللغوية.
- نموذج جاهز: للمهامّ الشائعة — كشف الوجوه، نسخ الكلام، الترجمة — توجد نماذج جاهزة تتجاوز ما ستحقّقه بجهد محدود.
القاعدة العملية: الصقل يفيد حين تريد تغيير الأسلوب أو البنية أو التخصّص العميق، ولا يفيد كثيراً حين تريد فقط إضافة معرفة. للمعرفة، الاسترجاع أفضل وأرخص وأسهل تحديثاً.
الأثر البيئي، بإيجاز
الكلفة ليست مالية فقط. تدريب نموذج كبير يستهلك طاقة كبيرة، ومجموع الاستنتاج على النطاق العالمي يتجاوزه.
وهذا يعطي حجّة إضافية للمقاربة نفسها: نموذج أصغر مصقول لمهمّة محدّدة يوازي غالباً نموذجاً عملاقاً في تلك المهمّة، بجزء بسيط من الطاقة والكلفة وزمن الاستجابة. وهذا ليس تنازلاً بل هندسة سليمة.
في ثلاث جمل
التدريب من الصفر يقتضي بيانات وحساباً وخبرة تُقصي معظم المشاريع، ولهذا يكاد لا يُفعل خارج المخابر الكبرى. ونقل التعلّم يستغلّ عموم الطبقات الأولى فيحوّل مشروعاً بمئة ألف مثال إلى مشروع بألف، والصقل الفعّال مثل LoRA جعل تكييف النماذج الكبيرة ممكناً على معالج رسومي واحد. وقبل أيّ صقل، اسأل: هل يوجد نموذج جاهز، وهل مشكلتي نقص معرفة — فالاسترجاع أفضل — أم نقص تخصّص، فالصقل هو الجواب.
التالي — الدرس 6: الملخّص والأسئلة الشائعة ←