الوحدة 2 — دوال التنشيط: ReLU والسيغمويد والظلّ الزائدي وGELU

دالة التنشيط هي أخفى مكوّنات الشبكة وأحد أكثرها حسمًا. تشرح هذه الوحدة أوّلًا لماذا لا غنى عنها بنيويًا، ثم لماذا تغيّر الخيار الافتراضي في منتصف عشرية 2010.

بغير لاخطّية لا يفيد العمق شيئًا

هذا هو البرهان الذي ينبغي معرفته، لأنّه يُبرّر وجود هذه الدوال نفسه. لنفترض شبكة من طبقتين بغير تنشيط. تحسب الأولى $h = W_1 x + b_1$، وتحسب الثانية $y = W_2 h + b_2$. وبالتعويض:

$$y = W_2(W_1 x + b_1) + b_2 = (W_2 W_1)x + (W_2 b_1 + b_2)$$

الجداء $W_2 W_1$ مصفوفة، و$W_2 b_1 + b_2$ شعاع. فالشبكة ذات الطبقتين هي إذن شبكة ذات طبقة واحدة، بوسائط أخرى. كدّس منها مئة، فتبقى النتيجة تحويلًا خطّيًا.

والنتيجة واضحة: بغير تنشيط غير خطّي، يكون العمق كلفة حسابية بلا أي مكسب في السعة. فدالة التنشيط، وهي وحدها، ما يجعل التكديس مُثمرًا.

دوال التنشيط الثلاث التاريخية

استخدم الأزرار لعزل منحنى واحد. يظهر ما يميّز ReLU من النظرة الأولى: فهي لا تتشبّع في الجهة الموجبة، حيث يستوي كلّ من السيغمويد والظلّ الزائدي عند الطرفين.

يسحق السيغمويد أي مُدخَل داخل المجال $]0, 1[$:

$$\sigma(x) = \frac{1}{1 + e^{-x}}$$

هيمن على عشرية 1990 بفضل تفسيره الاحتمالي. وقد أزاحه عيبان عن الطبقات المخفية. أوّلهما التشبّع: فمتى تجاوز $|x|$ الأربعة أو الخمسة صار المنحنى مستويًا تقريبًا، فمشتقّه يكاد يكون معدومًا ولم يعد التدرّج يمرّ — وهذا موضوع الوحدة 6. وثانيهما أنّ مُخرَجه غير متمركز حول الصفر، وهذا يجعل تحديثات الأوزان منحازة انحيازًا منهجيًا في اتّجاه واحد ويُبطئ التقارب.

يُصحّح الظلّ الزائدي العيب الثاني بإنتاج مُخرَجات في $]-1, 1[$، متمركزة حول الصفر. وهو أفضل من السيغمويد قطعًا في الطبقة المخفية، لكنّه يتشبّع مع ذلك عند الطرفين.

ReLU، ولماذا غيّرت كلّ شيء

ReLU في بساطة مُذهلة:

$$\text{ReLU}(x) = \max(0, x)$$

صارت الخيار الافتراضي، ومزاياها ملموسة. فهي لا تتشبّع في الجهة الموجبة: مشتقّها هناك يساوي 1 بالضبط، فيعبر التدرّج دون أن يخفت، وهذا يجعل الشبكات العميقة جدًّا قابلة للتطبيق. وهي بسيطة الحساب إلى حدّ التفاهة — مقارنة واحدة، حيث يطلب السيغمويد دالة أُسّية. وتنتج تنشيطًا مُتناثرًا: فالعصبونات ذات المُخرَج السالب غير نشطة، وهذا يعطي تمثيلات أكثر اقتصادًا.

ولعيبها اسم: العصبون الميت. فإذا أدّت الأوزان إلى أن يستقبل عصبون مُدخلات سالبة على نحو منهجي، فمُخرَجه معدوم دائمًا، ومشتقّه معدوم دائمًا، ولن يُحدَّث بعدها أبدًا. لقد فُقد نهائيًا. ومعدّل تعلّم مرتفع جدًّا يُنتج منها بالجملة.

ومن هنا المتغيّرات، وكلّها تُمرّر خيطًا من التدرّج في الجهة السالبة:

المتغيّرة	السلوك عند $x < 0$	الفائدة
Leaky ReLU	ميل ضعيف ثابت، غالبًا $0{,}01x$	يُزيل العصبون الميت
PReLU	ميل مُتعلَّم أثناء التدريب	أكثر مرونة، بوسيط إضافي
ELU	تناقص أُسّي نحو $-1$	مُخرَجات متمركزة، أعلى كلفة
GELU	ترجيح ناعم بقانون طبيعي	مرجع المحوّلات

تستحقّ GELU انتباهًا خاصًّا: فهي دالة تنشيط المعماريات الحديثة لمعالجة اللغة، ومنها محوّلات الدورة 12. فبدلًا من القطع الحادّ عند الصفر، ترجّح المُدخَل باحتمال أن يكون متغيّر طبيعي أصغر منه، وهذا يعطي انتقالًا ناعمًا في جوار الصفر. وهي تحقّق عمليًا مكسبًا منتظمًا لكن متواضعًا، بكلفة حسابية أعلى قليلًا.

طبقة المُخرَج لا تُختار، بل تُستنتج

نقطة منهجية مهمّة: بالنسبة للطبقات المخفية، دالة التنشيط وسيط فائق؛ أمّا بالنسبة لطبقة المُخرَج فهي تفرضها المهمّة.

المهمّة	تنشيط المُخرَج	الخسارة المقابلة
الانحدار	لا شيء (مُخرَج خطّي)	متوسّط مربّع الخطأ
التصنيف الثنائي	سيغمويد، عصبون واحد	الإنتروبيا المتقاطعة الثنائية
التصنيف متعدّد الأصناف	سوفت‌ماكس، عصبون لكلّ صنف	الإنتروبيا المتقاطعة الصنفية
التصنيف متعدّد الوسوم	سيغمويد على كلّ عصبون	الإنتروبيا المتقاطعة الثنائية

التمييز بين السطرين الأخيرين مصدر أخطاء متواتر. فـسوفت‌ماكس تُنظّم المُخرَجات ليكون مجموعها 1: أي أنّها تفترض أنّ الأصناف متعارضة. فإذا كان بإمكان مشاهدة أن تحمل عدّة وسوم في الوقت نفسه — صورة فيها كلب ودراجة — فلا بدّ من سيغمويد مستقلّ لكلّ وسم، ولا سوفت‌ماكس أبدًا.

ماذا نختار عمليًا

ابدأ بـReLU في الطبقات المخفية: فهي الافتراض المعقول، سريع ومُجرَّب. وإن لاحظت عصبونات ميتة فانتقل إلى Leaky ReLU. وعلى معمارية قائمة على المحوّلات استخدم GELU، فهي عُرف المجال. ولا تستعمل السيغمويد والظلّ الزائدي في طبقة مخفية إلّا لسبب محدّد — بوّابة شبكة تكرارية مثلًا، وهو موضوع الدورة 11. وتذكّر أنّ المكسب من تحسين دالة التنشيط يبقى ضعيفًا أمام مكسب معمارية أفضل أو بيانات أفضل.

الخلاصة

• بغير تنشيط غير خطّي، يُختزل تكديس الطبقات إلى طبقة واحدة: فلا يضيف العمق شيئًا حينها.
• يتشبّع السيغمويد والظلّ الزائدي عند الطرفين، وهذا يحجب التدرّج؛ والظلّ الزائدي متمركز حول الصفر على الأقلّ.
• لا تتشبّع ReLU في الجهة الموجبة، وتُحسَب فوريًا، وتنتج تنشيطات متناثرة، مع خطر العصبون الميت الذي تصحّحه Leaky ReLU ومتغيّراتها.
• تنشيط المُخرَج يُستنتج من المهمّة؛ سوفت‌ماكس للأصناف المتعارضة، وسيغمويدات مستقلّة للوسوم المتعدّدة.

الوحدة التالية: الانتشار الأمامي وحساب الخسارة، أي ما يحدث بالضبط حين تعبر البيانات الشبكة.