الوحدة 5 — المُحسِّنات: الانحدار التدرّجي العشوائي، الزخم، Adam

حُسبت التدرّجات. ويبقى أن نُقرّر بأي مقدار نُزيح الأوزان، وهذا القرار هو ما يفرّق بين تدريب يتقارب في ساعة وتدريب لا يصل أبدًا.

القاعدة الأساسية ووسيطها الفائق الحرج الوحيد

يُحدّث الانحدار التدرّجي كلّ وسيط في الاتّجاه المعاكس لتدرّجه:

$$w \leftarrow w - \eta \frac{\partial \mathcal{L}}{\partial w}$$

معدّل التعلّم $\eta$ هو، بفارق كبير، أهمّ وسيط فائق في التعلّم العميق. فإن كان كبيرًا جدًّا تذبذبت الخسارة أو تباعدت إلى NaN؛ وإن كان صغيرًا جدًّا زحف التدريب أو تجمّد على هضبة. ولا يوجد ضبط آخر بأثر مماثل، وبه ينبغي البدء.

حجم الحزمة: مفاضلة بين الضجيج والسرعة

تتميّز ثلاثة أنظمة حسب عدد المشاهدات المستخدمة في كلّ تحديث.

يستخدم التدرّج الكامل مجموعة البيانات كلّها: اتّجاه دقيق، لكن تحديث واحد في كلّ مرور، واستهلاك ذاكرة مانع. ويستخدم التدرّج العشوائي الصرف مشاهدة واحدة: تحديثات متواترة جدًّا لكن باتّجاه شديد الضجيج. أمّا الحزمة الصغيرة، وهي عمليًا من 32 إلى 512 مشاهدة، فتجمع المزايا وتُشكّل المعيار الكوني.

وتجدر الإشارة إلى نقطة مخالفة للحدس: ضجيج الحزمة الصغيرة مفيد. فهو يساعد على الإفلات من النهايات الصغرى المحلّية الضيّقة، ويعمل عمل تنظيم خفيف. والحزم الكبيرة جدًّا تتقارب أسرع بعدد المرورات لكنّها تُعمّم غالبًا تعميمًا أقلّ جودة، وهذا يفسّر عدم زيادة حجم الحزمة إلى ما لا نهاية حتى لو سمحت الذاكرة بذلك.

الزخم، أو لماذا نُراكم دفعًا

يتقدّم الانحدار البسيط متعرّجًا في الأودية الضيّقة: فالتدرّج يشير إلى الجُدر بدلًا من القاع. ويصحّح الزخم ذلك بمراكمة سرعة:

$$v \leftarrow \beta v + (1 - \beta)\nabla, \qquad w \leftarrow w - \eta v$$

فمع $\beta = 0{,}9$ يحفظ التحديث متوسّطًا متحرّكًا للتدرّجات الأخيرة. فالتذبذبات العمودية، التي تتبادل الإشارة، تتلاشى متقابلة؛ أمّا المُركّبة الثابتة نحو قاع الوادي فتتراكم. وتشبيه الكرة المتدحرجة صحيح: فهي تعبر النتوءات الصغيرة بدلًا من التوقّف عندها.

المعدّلات التكيّفية وAdam

لا تحتاج جميع الوسائط إلى الخطوة نفسها. فالمتغيّر النادر يستحقّ تحديثات أجرأ من المتغيّر الحاضر في كلّ مكان. لذا تُعطي الطرائق التكيّفية معدّلًا لكلّ وسيط، انطلاقًا من تاريخ تدرّجاته.

وAdam هو اليوم نقطة البداية الافتراضية. فهو يجمع الفكرتين السابقتين: زخم على التدرّج (العزم من الرتبة 1) وزخم على مربّع التدرّج (الرتبة 2)، ويُستخدم الثاني لتسوية الخطوة.

$$m \leftarrow \beta_1 m + (1-\beta_1)\nabla, \qquad v \leftarrow \beta_2 v + (1-\beta_2)\nabla^2, \qquad w \leftarrow w - \eta \frac{\hat{m}}{\sqrt{\hat{v}} + \epsilon}$$

فالوسيط الذي تكون تدرّجاته كبيرة على نحو منهجي تُقلَّص خطوته بالقسمة؛ والوسيط ذو التدرّجات الضعيفة تُرفَع خطوته. والقيم الافتراضية $\beta_1 = 0{,}9$ و$\beta_2 = 0{,}999$ و$\epsilon = 10^{-8}$ تعمل في الأغلبية الكبرى من الحالات ونادرًا ما تُضبط.

ويصحّح AdamW عيبًا حقيقيًا في Adam: فعقوبة L2، حين تُضاف إلى التدرّج، تُقسَم على $\sqrt{\hat{v}}$ فتفقد أثرها التنظيمي. أمّا AdamW فيُطبّقها على انفصال — وهو ما يُسمّى تحلّل الأوزان المفصول — وينبغي تفضيله متى استُخدمت عقوبة أوزان. وهو مُحسِّن نماذج اللغة الكبيرة الحالية.

import torch

optimiseur = torch.optim.AdamW(modele.parameters(), lr=3e-4, weight_decay=0.01)
planificateur = torch.optim.lr_scheduler.CosineAnnealingLR(optimiseur, T_max=epoques)

for epoque in range(epoques):
    for X_lot, y_lot in chargeur:
        optimiseur.zero_grad()               # بدون هذا تتراكم التدرجات
        perte = critere(modele(X_lot), y_lot)
        perte.backward()
        torch.nn.utils.clip_grad_norm_(modele.parameters(), 1.0)
        optimiseur.step()
    planificateur.step()                     # مرة واحدة في كل حقبة، لا لكل حزمة

تغيير معدّل التعلّم

نادرًا ما يكون إبقاء $\eta$ ثابتًا أمثليًا: فنحن نريد التقدّم سريعًا في البداية، ثم الصقل. وقد صار آليتان معياريّتين.

يرفع التسخين المعدّل تدريجيًا خلال المئات الأولى من التكرارات. فعند الإقلاع تكون الأوزان عشوائية والتدرّجات مضطربة؛ وتطبيق المعدّل الاسمي فورًا قد يُخلّ باستقرار التدريب إخلالًا دائمًا. وهذا صحيح خصوصًا للمحوّلات، حيث التسخين غير اختياري.

ثم يُقلّص التناقص المعدّل: بمراحل، أو وفق منحنى جيب تمامي وهو اليوم الخيار الأشيع. والحدس هو حدس التلدين: خطوات كبيرة لإيجاد المنطقة الصحيحة، وخطوات صغيرة للاستقرار فيها.

طريقة ضبط ناجعة

ابحث عن معدّل التعلّم قبل كلّ شيء آخر، وافعل ذلك برُتب المقدار: $10^{-2}$، $10^{-3}$، $10^{-4}$. واختبار سريع وموثوق يقوم على إطلاق مئات من التكرارات مع رفع المعدّل تدريجيًا، ثم رسم الخسارة: فرتبة المقدار الصحيحة تقع قبيل النقطة التي تعود فيها إلى الصعود. وبالنسبة لـAdamW يكون $3 \times 10^{-4}$ نقطة بداية معقولة على معظم المعماريات. ولا تعدّل حجم الحزمة إلّا بعد ذلك، مع العلم أنّ مضاعفة الحزمة تُبرّر غالبًا رفع المعدّل.

الخلاصة

• معدّل التعلّم أكثر الوسائط الفائقة حسمًا؛ يُضبط أوّلًا وبرُتب المقدار.
• الحزمة الصغيرة من 32 إلى 512 هي المعيار؛ وضجيجها مفيد ويعمل عمل تنظيم خفيف.
• يُلغي الزخم التذبذبات ويُراكم الدفع نحو قاع الوادي؛ وتُعطي الطرائق التكيّفية خطوة لكلّ وسيط.
• AdamW هو الافتراض المعقول، وهو أفضل من Adam مع عقوبة أوزان؛ والتسخين ثم التناقص الجيب تمامي هما التخطيط المعتاد.

الوحدة التالية: تهيئة الأوزان ومشكلة التدرّجات المتلاشية، وهما موضوعان جعلتهما بنية الانتشار الخلفي متوقّعين.