الدرس 2 — التقطيع إلى رموز
النموذج لا يقرأ حروفاً بل أرقاماً. والخطوة الأولى في كلّ نظام لغوي هي تقسيم النصّ إلى وحدات تُسمّى رموزاً (tokens)، ثمّ إعطاء رقم لكلّ وحدة. وهذه الخطوة، التي تبدو تقنية بحتة، تحدّد أموراً كثيرة لاحقاً.
المقاربة الأولى: التقطيع بالكلمات
الطريقة البديهية: اقسم عند المسافات وعلامات الترقيم، فتكون كلّ كلمة رمزاً.
المشكلات تظهر فوراً:
- حجم المفردات ينفجر. العربية بغناها الاشتقاقي قد تولّد ملايين الصيغ. وكلّ صيغة تحتاج مدخلاً في القاموس وتمثيلاً متّجهاً خاصّاً بها.
- الكلمة المجهولة تكسر النظام. كلمة لم تظهر في التدريب تصبح رمز «مجهول»، فتفقد كلّ معلوماتها. وهذا يحدث كثيراً: أسماء أعلام، ومصطلحات جديدة، وأخطاء إملائية.
- البنية المشتركة تُهدَر. «مكتبة» و«كتاب» و«كاتب» تصبح ثلاثة رموز مستقلّة تماماً، مع أنّ الجذر واحد.
- التقسيم بالمسافات غير كافٍ في العربية، لأنّ الالتصاق يدمج عدّة وحدات نحوية في كلمة واحدة.
المقاربة الثانية: التقطيع بالحروف
اقسم إلى حروف. حجم المفردات صغير جدّاً، ولا كلمة مجهولة أبداً.
والثمن باهظ: المتتالية تصبح أطول بأربع أو خمس مرّات، وكلفة المحوّل تتناسب مع مربّع الطول كما رأينا في درس المحوّلات. كما أنّ النموذج يجب أن يتعلّم من الصفر أنّ تجميع حروف معيّنة يشكّل معنى.
الحلّ السائد: الوحدات الفرعية
المقاربة الوسطى هي التي فرضت نفسها: الكلمات الشائعة تبقى كاملة، والنادرة تُقسَّم إلى أجزاء ذات دلالة.
الخوارزمية الأكثر استخداماً تُسمّى BPE (Byte Pair Encoding)، ومبدؤها بسيط: ابدأ من الحروف، ثمّ ابحث في المتن عن أكثر زوج متجاور تكراراً وادمجه في رمز واحد، وكرّر ذلك آلاف المرّات. النتيجة مفردات تحتوي الحروف والمقاطع الشائعة والكلمات المتكرّرة كاملة.
الفوائد المباشرة:
- لا كلمة مجهولة: أيّ نصّ قابل للتمثيل، ولو بحروف مفردة في أسوأ الحالات.
- حجم مفردات محكوم: من 30 ألف إ لى 100 ألف رمز عادةً.
- استعادة جزء من البنية: التقطيع يميل تلقائياً إلى فصل السوابق واللواحق، وهذا مفيد جدّاً في العربية.
كلمة شائعة مثل «كتاب» تبقى رمزاً واحداً. وكلمة نادرة أو مركّبة مثل «وبمكتباتهم» قد تُقسَّم إلى «و» + «ب» + «مكتبات» + «هم». النموذج يرى الأجزاء التي رآها كثيراً في سياقات أخرى، فيستفيد من معرفته السابقة بها.
أثر التقطيع على الكلفة
نقطة عملية مهمّة، ويُغفَل عنها كثيراً: واجهات النماذج اللغوية تُحاسِب بالرموز، لا بالكلمات.
ومعدّل الرموز لكلّ كلمة يختلف بين اللغات، بحسب ما تحتويه مفردات النموذج. النصّ الإنجليزي يعطي عادةً نحو 1.3 رمز لكلّ كلمة. أمّا النصوص بلغات أقلّ حضوراً في بيانات التدريب — والعربية بينها في كثير من النماذج — فقد تعطي ضعف ذلك أو أكثر.
النتيجة العملية بثلاثة أوجه:
- الكلفة أعلى للنصّ نفسه بالمعنى.
- نافذة السياق تستوعب نصّاً أقلّ بالمعنى.
- زمن الاستجابة أطول، لأنّ عدد الرموز المولَّدة أكبر.
وهذا ليس ظلماً مقصوداً بل نتيجة مباشرة لتوزيع اللغات في متن التدريب، والنماذج الحديثة الموجَّهة للعربية تحسّن هذا الجانب تحديداً.
القرارات الأخرى في المعالجة الأوّلية
قبل الرموز أو معها، تُتّخذ قرارات تبدو صغيرة ولها آثار:
| القرار | الاحتمالات | الأثر |
|---|---|---|
| توحيد الحروف | «أ/إ/آ» إلى «ا»، «ى» إلى «ي» | يقلّل التنوّع، ويفقد فروقاً دلالية قليلة |
| حذف التشكيل | إبقاء أو حذف | الحذف شائع، ويزيد الغموض |
| حذف كلمات الوقف | «في، من، على» | مفيد في البحث الكلاسيكي، ضارّ مع النماذج الحديثة |
| الحالة الحرفية | مهمّ في اللاتينية، غير موجود في العربية | — |
| الرموز والوجوه التعبيرية | حذف أو إبقاء | إبقاؤها مفيد في تحليل المشاعر |
حذف كلمات الوقف وتجذيع الكلمات (stemming) ممارسات كانت ضرورية في المقاربات القديمة القائمة على تكرار الكلمات. ومع النماذج السياقية الحديثة، هي ضارّة: النموذج يستخدم هذه الكلمات الصغيرة لفهم البنية، وحذفها يضرّ بالنتيجة. القاعدة: استخدم المقطّع الخاصّ بالنموذج ولا تسبقه بمعالجة تقليدية.
الرموز الخاصّة
كلّ نموذج يستخدم رموزاً وظيفية لا تقابل نصّاً:
- بداية ونهاية المتتالية، لتحديد الحدود.
- الحشو (padding)، لتوحيد أطوال الأمثلة في الدفعة.
- القناع (mask)، ويُستخدم في تدريب نماذج مثل BERT حيث تُحجب كلمة ويُطلب توقّعها.
- الفاصل، لفصل جزأين من المدخل، كسؤال ونصّ.
هذه الرموز جزء من واجهة النموذج، وليست تفصيلاً داخلياً: استخدام النموذج بشكل صحيح يقتضي احترام تنسيقه.
في ثلاث جمل
النموذج يعالج رموزاً لا حروفاً، والتقطيع بالكلمات يفجّر المفردات ويكسر عند الكلمة المجهولة، والتقطيع بالحروف يضاعف طول المتتالية بكلفة تربيعية. والحلّ السائد هو الوحدات الفرعية بخوارزمية مثل BPE، فلا كلمة مجهولة ويُستعاد جزء من البنية الصرفية، وهذا مفيد بشكل خاصّ في العربية. والتقطيع ليس تفصيلاً تقنياً: هو ما يحدّد الكلفة وسعة السياق، وهو سبب أن يكون النصّ العربي أغلى بالرموز في نماذج كثيرة.
التالي — الدرس 3: التمثيلات المتّجهية ←