الوحدة 4 — القيم الذاتية وتقليص الأبعاد

للبيانات الحقيقية غالباً مئات الخصائص، كثير منها متكرّر. وتقليص الأبعاد يضغط هذه المعلومات في محاور قليلة مختارة بعناية. والأداة الرياضية وراءه — القيم والمتّجهات الذاتية — لها سمعة مرهِبة؛ وتقدّم هذه الوحدة حدسها واستعمالها الملموس، بلا برهان.

المتّجهات الذاتية: الاتجاهات التي يحفظها تحويل

لنتذكّر الوحدة 2: المصفوفة تحوّل المتّجهات، مغيّرةً اتجاهها عموماً. لكن لبعض المصفوفات، تُمدَّد أو تُقلَّص بضعة اتجاهات خاصّة فحسب، بلا انحراف. هذه هي المتّجهات الذاتية، وعامل التمديد المرافق هو القيمة الذاتية:

$$A v = \lambda v$$

المتّجه الذاتي $v$ يحفظ اتجاهه، والقيمة الذاتية $\lambda$ تقول كم مُدّ. والقيمة الذاتية الكبيرة تشير إلى اتجاه «مهمّ» للتحويل — اتجاهٍ يقوى فيه الفعل.

من التغاير إلى المحاور الرئيسة

لنطبّق هذا على البيانات. مصفوفة التغاير لمجموعة بيانات تلخّص كيف تتغيّر الخصائص معاً: تغاير عالٍ = خصائص مترابطة. ومتّجهاتها الذاتية تشير إلى الاتجاهات التي تنتشر فيها البيانات أكثر، وقيمها الذاتية تقيس هذا الانتشار (التباين) على كلّ اتجاه.

فكرة تحليل المكوّنات الرئيسة (PCA) في جملة: احتفظ بالاتجاهات القليلة الأكبر تبايناً، واطرح الباقي. نستبدل 200 خاصّة مترابطة بعشرة محاور مثلاً تلتقط 95% من التباين.

PCA عمليّاً

from sklearn.decomposition import PCA
import numpy as np

# X: (عدد_الملاحظات, 200 خاصّة)
acp = PCA(n_components=10)
X_reduit = acp.fit_transform(X)     # (عدد_الملاحظات, 10)

acp.explained_variance_ratio_.sum() # نسبة التباين المحفوظ، مثلاً 0.95

التباين المفسَّر لوحةُ قيادة PCA: يقول أيّ نسبة معلومات نحتفظ بها. والانتقال من 200 إلى 10 أبعاد مع الاحتفاظ بـ95% من التباين مفاضلةٌ شائعة ومربحة جداً.

ما فائدة تقليص الأبعاد فعلاً

• التصوير: إسقاط بيانات عالية الأبعاد في بُعدين أو ثلاثة للنظر إليها بالعين.
• التسريع: خصائص أقلّ = تدريب أسرع ونماذج أخفّ.
• إزالة الضجيج: اتجاهات التباين المنخفض تحوي غالباً ضجيجاً؛ وإزالتها قد تحسّن التعميم.
• مقاومة لعنة الأبعاد: في الأبعاد العالية جداً تفقد المسافات معناها (الوحدة 3)؛ والتقليص يعالج ذلك.

ما لا يفعله PCA

PCA يعظّم التباين لا فصل الأصناف: يتجاهل التسميات. وقد يكون اتجاهُ تباينٍ منخفض حاسماً للتمييز بين صنفين؛ فيخاطر PCA بطرحه. كما أنّ المحاور الرئيسة تراكيب من الخصائص الأصلية، صعبة التفسير غالباً. وأخيراً يتطلّب PCA بيانات محجَّمة مسبقاً، وإلا احتكرت الخصائص كبيرة السعة المحاور الأولى — الفخّ نفسه من الوحدة 3.

الخلاصة

• المتّجه الذاتي اتجاهٌ يكتفي تحويلٌ بتمديده؛ وقيمته الذاتية تقيس التمديد.
• المتّجهات الذاتية لـمصفوفة التغاير تشير إلى اتجاهات أكبر تباين في البيانات.
• PCA يحتفظ بـk محاور الأكبر تبايناً ويطرح الباقي، ضاغطاً مئات الخصائص في أبعاد قليلة.
• التباين المفسَّر يقدّر المعلومات المحفوظة؛ وPCA يخدم التصوير والتسريع وإزالة الضجيج — لكنه يتجاهل التسميات ويتطلّب تحجيماً مسبقاً.

الوحدة التالية: المشتقّات والتدرّج — الانتقال من الجبر الخطّي إلى التفاضل، لغة التعلّم نفسه.