الوحدة 2 — الانحدار الخطّي وتنظيم Ridge وLasso

الانحدار الخطّي نقطة الانطلاق الحتمية: بسيط، سريع، قابل للتفسير، ويحمل مسبقاً كلّ المفاهيم — الكلفة، التحسين، التنظيم — التي ستعود في أعقد النماذج. وهو كذلك النموذج المرجعي الذي يُقاس عليه كلّ ما سواه.

النموذج: مجموع موزون للمتغيّرات

يتنبّأ الانحدار الخطّي بالهدف بوصفه تركيباً للمتغيّرات، كلٌّ مضروبٌ بمعامِل:

$$\hat{y} = w_1 x_1 + w_2 x_2 + \dots + w_d x_d + b$$

كلّ معامِل $w_i$ يقول بكم يتغيّر التنبّؤ حين يزداد المتغيّر $x_i$ بوحدة واحدة، مع بقاء الباقي ثابتاً. هذا ما يجعل النموذج مقروءاً إلى هذا الحدّ: نقرأ المعاملات بوصفها أثر كلّ متغيّر. ويبحث التدريب عن المعاملات التي تُصغّر متوسّط مربّع الخطأ، عبر النزول التدرّجي المشروح في دورة الرياضيات.

from sklearn.linear_model import LinearRegression
model = LinearRegression().fit(X_train, y_train)
model.coef_        # معامِل لكلّ متغيّر
model.intercept_   # الانحياز b

تفسير المعاملات بحذر

لا يكون المعامِل مقروءاً إلّا إذا كانت المتغيّرات على المقياس نفسه. وإلّا فقد يعكس معامِلٌ كبير مجرّد متغيّر صغير المدى، لا أهمّيته. من هنا ردّ الفعل بالتقييس قبل مقارنة المعاملات — صدى مباشر للمعايير في دورة الرياضيات. وانتبه أيضاً: تقيس المعاملات ارتباطاً لا سببية، ومتغيّران مترابطان «يتقاسمان» أثراً بطريقةٍ مُضلّلة أحياناً (التعدّد الخطّي).

لماذا التنظيم: ترويض التباين

حين تكون المتغيّرات كثيرة أو مترابطة، قد يُنتِج الانحدار الخطّي العادي معاملات ضخمة وغير مستقرّة: فهو يلتصق بضجيج العيّنة. هذا تباين مفرط — أي الإفراط في التعلّم من دورة الرياضيات. يضيف التنظيم إلى الكلفة عقوبةً على حجم المعاملات، مُرغِماً النموذج على الاعتدال:

$$\text{الكلفة} = \text{الخطأ} + \lambda \cdot \text{عقوبة على المعاملات}$$

يضبط المعامل $\lambda$ قوّة الكابح: عند الصفر نستعيد الانحدار العادي؛ وإن كان كبيراً جدّاً غدا النموذج شديد البساطة (انحياز مفرط). إنّه مقايضة الانحياز والتباين، مضبوطةً بمِزلاج.

Ridge وLasso: عقوبتان، سلوكان

from sklearn.linear_model import Ridge, Lasso
Ridge(alpha=1.0).fit(X_train, y_train)   # عقوبة L2
Lasso(alpha=0.1).fit(X_train, y_train)   # عقوبة L1

	العقوبة	الأثر في المعاملات	الاستعمال النموذجي
Ridge	$L_2$ (مجموع المربّعات)	تُقلّصها جميعاً بلا تصفير	متغيّرات مترابطة، حفظ كلّ المعلومات
Lasso	$L_1$ (مجموع القيم المطلقة)	تجعل بعضها صفراً تماماً	اختيار تلقائي للمتغيّرات

التمييز ملموس وثمين. Ridge يُثبّت في مواجهة التعدّد الخطّي بلا إقصاء أيّ متغيّر. وLasso يقوم بـالاختيار: بتصفير أقلّ المعاملات نفعاً يُنتِج نموذجاً مُقتصِداً لا يُبقي إلّا على المتغيّرات المُهِمّة — مكسبٌ كبير حين تكون بالمئات. والهندسة الكامنة (زاوية كرة $L_1$ التي تلامس المحاور) تفسّر لماذا عقوبة $L_1$ وحدها تُصفّر معاملات.

Elastic Net: تسوية بين الاثنين

عند التردّد — متغيّرات كثيرة مع تعدّد خطّي — يجمع Elastic Net بين العقوبتين ويقدّم خير ما في العالَمين: اختيار Lasso واستقرار Ridge. عملياً نُجرّب Ridge وLasso مرجعَين، ثمّ Elastic Net إن لم يُهيمن أيٌّ منهما بوضوح. وفي كلّ الأحوال يُضبَط $\lambda$ (المُسمّى alpha في scikit-learn) بالتحقّق المتقاطع، لا بالعين أبداً.

الخلاصة

• يتنبّأ الانحدار الخطّي بـمجموع موزون للمتغيّرات؛ ومعاملاته المقروءة تقيس ارتباطاً وتتطلّب متغيّرات على المقياس نفسه.
• بلا كابح يُفرِط في التعلّم حين تكون المتغيّرات كثيرة أو مترابطة: تباين مفرط.
• يُعاقِب التنظيم حجم المعاملات؛ ويضبط $\lambda$ مقايضة الانحياز والتباين.
• Ridge ($L_2$) يُقلّص كلّ المعاملات؛ وLasso ($L_1$) يُصفّر بعضها ويختار المتغيّرات؛ وElastic Net يجمع بينهما.

الوحدة التالية: الانحدار اللوجستي الذي يُكيّف هذه الآلية الخطّية مع التصنيف ويُدخِل حدّ القرار.