الدرس 3 — التمثيلات المتّجهية
هذه أهمّ فكرة في معالجة اللغة الحديثة، وأجملها: تحويل المعنى إلى موضع في فضاء.
المشكلة التي تحلّها
بعد التقطيع، لكلّ رمز رقم معرّف. والمشكلة أنّ هذه الأرقام تعسّفية: إذا كان «قطّ» يحمل الرقم 4823 و«كلب» الرقم 91، فالنموذج لا يملك أيّ سبب لاعتبارهما متقاربين.
والحلّ ألا يُمثَّل الرمز برقم واحد، بل بـمتّجه من مئات الأرقام، تُتعلَّم قيمه من البيانات، بحيث تحمل الهندسة معنىً.
الفكرة الأساسية
المبدأ الذي شرحناه في الدرس الأول: معنى الكلمة يُستنتج من صحبتها. والتمثيل المتّجه يجسّد هذا المبدأ عملياً.
يُدرَّب النموذج على مهمّة بسيطة — مثل توقّع الكلمات المحيطة بكلمة معطاة — وينتج عن ذلك أنّ الكلمات التي تظهر في سياقات متشابهة تكتسب متّجهات متقاربة.
النتيجة: التقارب في المعنى يصبح تقارباً في المسافة. و«طبيب» تقع قريباً من «ممرّض» و«عيادة»، وبعيداً عن «إسمنت».
لأنّه يحوّل سؤالاً دلالياً إلى عملية حساب. «ابحث عن مستندات شبيهة بهذا السؤال» تصبح: حوّل السؤال إلى متّجه، وحوّل المستندات إلى متّجهات، وأعد الأقربَ بالتشابه الجيبي. هذا هو أساس البحث الدلالي وأنظمة التوصية، وهو أيضاً أساس تقنية الاسترجاع RAG.
الحساب على المعاني
النتيجة التي أثارت الانتباه عند ظهور word2vec سنة 2013 هي أنّ العلاقات الدلالية تظهر كإزاحات ثابتة في الفضاء.
الإزاحة بين متّجه «ملك» ومتّجه «ملكة» تقارب الإزاحة بين «رجل» و«امرأة». والإزاحة بين «باريس» و«فرنسا» تقارب الإزاحة بين «طوكيو» و«اليابان». أي أنّ مفاهيم مثل «الجنس» و«عاصمة بلد» صارت اتّجاهات في الفضاء.
هذا لم يبرمجه أحد. نشأ من التدريب على توقّع السياق، وهو دليل على أنّ التوزيع الإحصائي للكلمات يحمل بنية دلالية حقيقية.
إذا كانت العلاقات الدلالية تُشتقّ من الاستخدام، فالتحيّزات كذلك. تمثيلات مدرَّبة على نصوص الإنترنت تُظهر ارتباطات نمطية بين المهن والجنس، وبين أسماء معيّنة وصفات سلبية. النموذج لم يخترع ذلك: هو يعكس بأمانة ما في النصوص، وهذه أمانة مؤذية. ودورة الأخلاقيات تعالج الموضوع.
الثابت مقابل السياقي: القفزة الحاسمة
التمثيلات الأولى كانت ثابتة: لكلّ كلمة متّجه واحد في القاموس، مهما كان السياق.
وهذا يفشل أمام أوّل مثال من الدرس الأول: كلمة «عين» تحصل على متّجه واحد يخلط عضو البصر ونبع الماء والجاسوس. النتيجة تمثيل ضبابي لا يخدم أيّ معنى بدقّة.
والقفزة كانت التمثيلات السياقية: متّجه الكلمة يُحسب في كلّ مرّة بحسب الجملة التي وردت فيها. «عين» في «عين الماء» تحصل على متّجه مختلف عن «عين» في «طرفة عين».
هذه هي الفكرة التي جاء بها نموذج BERT سنة 2018، وهي ما جعل النماذج الحديثة تفهم الغموض المعجمي بدل أن تتعثّر فيه. وهي نتيجة مباشرة لآلية الانتباه: التمثيل يُبنى بالنظر إلى كلّ الكلمات المحيطة.
| تمثيل ثابت | تمثيل سياقي | |
|---|---|---|
| متّجه الكلمة | واحد لكلّ كلمة | يُحسب لكلّ ظهور |
| الغموض المعجمي | لا يُحلّ | يُحلّ |
| الكلفة | خفيفة جدّاً، جدول بحث | تمرير كامل في النموذج |
| الأمثلة | word2vec، GloVe، fastText | BERT، والنماذج اللغوية الحديثة |
| الاستخدام اليوم | مهامّ خفيفة وسريعة | المعيار في كلّ شيء تقريباً |
تمثيل الجمل والمستندات
كثير من التطبيقات تحتاج متّجهاً لجملة أو مستند كامل لا لكلمة.
المقاربة الساذجة — متوسّط متّجهات الكلمات — تعمل بشكل مقبول وتفقد الترتيب: «الشركة اشترت المنافس» و«المنافس اشترى الشركة» تحصلان على المتوسّط نفسه.
والمقاربة الصحيحة نماذج مدرَّبة خصيصاً لإنتاج تمثيل جملة، بحيث تكون الجمل المتقاربة في المعنى متقاربة في الفضاء. وهذه هي النماذج المستخدَمة في البحث الدلالي عملياً.
قواعد البيانات المتّجهية
عندما تصبح لديك ملايين المتّجهات، يصبح البحث عن الأقرب مسألة هندسية بحدّ ذاتها. ومقارنة المتّجه بكلّ متّجه في القاعدة مكلف جدّاً على النطاق الكبير.
قواعد البيانات المتّجهية تحلّ ذلك بفهارس تقريبية تجد الجيران القريبين بسرعة عالية، مقابل تنازل ضئيل عن الدقّة. وهذه القطعة صارت مكوّناً أساسياً في أنظمة الاسترجاع، ويتناولها درس RAG في دورة النماذج اللغوية.
في ثلاث جمل
التمثيل المتّجه يحوّل الرمز إلى موضع في فضاء متعلَّم من البيانات، بحيث يصبح التقارب في المعنى تقارباً في المسافة، وهذا يجعل البحث الدلالي عملية حساب. والعلاقات الدلالية تظهر كإزاحات ثابتة في الفضاء، وهذا يفسّر أيضاً كيف تنتقل التحيّزات من النصوص إلى النموذج بأمانة مؤذية. والقفزة الحاسمة كانت الانتقال من تمثيل واحد لكلّ كلمة إلى تمثيل يُحسب بحسب السياق، وهو ما حلّ الغموض المعجمي.
التالي — الدرس 4: المهامّ ←