الوحدة 3 — الانحدار اللوجستي وحدّ القرار

رغم اسمه، الانحدار اللوجستي نموذج تصنيف — الأكثر استعمالاً في مسائل الصنفين. يستعيد الآلية الخطّية من الوحدة 2 ويضيف فكرة واحدة: تحويل النتيجة إلى احتمال. بسيطٌ وسريع وقابل للتفسير، ويبقى المرجع الواجب تجاوزه في التصنيف.

من النتيجة الخطّية إلى الاحتمال: دالّة السيني

يحسب الانحدار اللوجستي أوّلاً نتيجةً خطّية، تماماً كالوحدة 2، ثمّ يُمرّرها في دالّة السيني (sigmoid) التي تسحق أيّ عدد حقيقي في المجال $[0, 1]$:

$$p = \sigma(w \cdot x + b) = \frac{1}{1 + e^{-(w \cdot x + b)}}$$

تُقرأ النتيجة $p$ بوصفها احتمال الانتماء إلى الصنف الموجب. فالنتيجة السالبة جدّاً تعطي احتمالاً قريباً من 0، والموجبة جدّاً قريباً من 1، والنتيجة الصفرية تعطي 0.5 بالضبط. ومنحنى السيني على شكل S ناعمٌ: قرب الحدّ يغيّر تغيّرٌ صغير في النتيجة الاحتمالَ تغيّراً واضحاً؛ وبعيداً عنه يخفت الأثر.

from sklearn.linear_model import LogisticRegression
model = LogisticRegression().fit(X_train, y_train)
model.predict_proba(X_test)[:, 1]   # احتمالات الصنف الموجب
model.predict(X_test)                # القرارات عند العتبة 0.5 افتراضياً

حدّ القرار والعتبة

للحسم بين الصنفين نقارن الاحتمال بـعتبة — 0.5 افتراضياً. ومجموعة النقاط حيث $p = 0.5$ يُشكّل حدّ القرار: في الانحدار اللوجستي هو مستقيم (أو مُستوٍ فائق في أبعاد أعلى). من جهةٍ الصنف الموجب، ومن الأخرى السالب.

والعتبة ليست منقوشة في حجر. تحريكها يُحرّك المقايضة بين نوعَي الخطأ:

• خفض العتبة (مثلاً 0.3): نُصنّف موجباً بسهولة أكبر ← كشفٌ لمزيد من الموجبات الحقيقية، لكن مزيد من الموجبات الكاذبة. نُفضّل الاستدعاء.
• رفع العتبة (مثلاً 0.7): لا نُعلن موجباً إلّا مع الثقة ← موجبات كاذبة أقلّ، لكن نُفوّت بعضها. نُفضّل الإحكام.

يُوجَّه هذا الضبط بحسب كلفة الأخطاء في العمل — فكشف احتيالٍ ليست رهاناته كرهانات التوصية بفيلم. ومقاييس الوحدة 9 تُصوغ هذه المقايضة.

تفسير المعاملات: الاتجاه والقوّة

كما في الانحدار الخطّي، يقول كلّ معامِل في أيّ اتجاه يدفع متغيّرٌ القرارَ: معامِل موجب يرفع احتمال الصنف الموجب، وسالب يخفضه. ومقداره (على متغيّرات مُقيَّسة) يدلّ على قوّة الأثر. وبدقّة أكبر، يؤثّر المعامِل في لوغاريتم نسبة الأرجحية، لكن حدس «الإشارة = الاتجاه، الحجم = القوّة» يكفي في الغالبية العظمى من الحالات لشرح قرارٍ لمُحاوِرٍ من أهل العمل.

التنظيم وتعدّد الأصناف، بلا مفاجأة

يُنظَّم الانحدار اللوجستي تماماً كالوحدة 2: بل تُطبّق scikit-learn عقوبة $L_2$ افتراضياً (تُضبَط بالمعامل C، مقلوب $\lambda$ — فـC صغير يُنظّم بقوّة). ولأكثر من صنفين، تُدرّب حيلة واحد ضدّ الجميع مُصنّفاً ثنائياً لكلّ صنف وتُبقي على الأرجح؛ وهذا تلقائي في scikit-learn. فنحتفظ بنموذج خطّي بسيط حيث يندفع كثيرون نحو الأعقد.

الخلاصة

• يحسب الانحدار اللوجستي نتيجةً خطّية ثمّ يحوّلها إلى احتمال عبر السيني ($[0,1]$).
• نحسم بمقارنة الاحتمال بـعتبة؛ ومجموعة النقاط عند $p = 0.5$ هي حدّ القرار، وهو خطّي.
• تحريك العتبة يُقايض بين الإحكام والاستدعاء بحسب كلفة الأخطاء في العمل.
• تُفسَّر المعاملات كما في الانحدار الخطّي (الإشارة = الاتجاه، الحجم = القوّة)؛ وتنظيم $L_2$ ووضع تعدّد الأصناف مُدمَجان.

الوحدة التالية: أقرب الجيران والآلات ذات المتّجهات الداعمة — مقاربتان هندسيتان ترسمان حدوداً مختلفة الطبيعة تماماً.