العربية ونماذج اللغة: لماذا تكلّف أكثر وتُفهم أقل
إن بنيت تطبيقًا بالعربية على نموذج لغة، فستدفع أكثر وتحصل على جودة أقلّ من نظيره الإنجليزي، وهذا ليس انطباعًا بل نتيجة قابلة للقياس. النصّ العربي يستهلك عادةً ضعف الرموز أو أكثر للمعنى نفسه، وهذا يرفع الفاتورة ويُضيّق نافذة السياق في الوقت نفسه. والسبب في بنية الأدوات، لا في اللغة.
المشكلة الأولى: التقطيع غير عادل
النموذج لا يقرأ حروفًا بل رموزًا (tokens)، والمُقسِّم الذي يُنتجها يُدرَّب على مجموعة نصوص. وبما أنّ هذه المجموعات إنجليزية في غالبها الساحق، فقد تعلّم المُقسِّم أن يُمثّل الإنجليزية بكفاءة عالية.
النتيجة أنّ الكلمة الإنجليزية الشائعة تصبح رمزًا واحدًا، بينما الكلمة العربية قد تتفتّت إلى ثلاثة أو أربعة أو أكثر. والعرب ية تُفاقم الأمر ببنيتها الاشتقاقية: السوابق واللواحق والضمائر المتّصلة تلتصق بالكلمة، فتُنتج أشكالًا كثيرة لكل جذر، وكل شكل نادر بمفرده في بيانات التدريب.
وللأمر ثلاثة آثار متتالية، كلها عملية:
الكلفة. تدفع بحسب الرموز. النصّ نفسه بالعربية قد يكلّفك مرّتين إلى ثلاث مرّات ما يكلّفه بالإنجليزية.
نافذة السياق تضيق. النافذة تُقاس بالرموز لا بالكلمات. فإذا استهلكت العربية ضعف الرموز، فأنت تُدخل نصف المحتوى في المساحة نفسها. هذا يضرب أنظمة الاسترجاع تحديدًا، لأنّها تُقاس بكم من الوثائق تستطيع إدخاله.
الجودة تتأثّر. الكلمة الممزّقة إلى أربعة رموز تُمثّل معناها بصورة أقلّ تماسكًا من كلمة برمز واحد. ولهذا تشيع الأخطاء في الصرف والاشتقاق أكثر مما تشيع في الإنجليزية.
المشكلة الثانية: أي عربية تقصد؟
الإنجليزية لها لهجات، لكن المكتوب منها متقارب إلى حدّ كبير. العربية مختلفة جوهريًا في هذه النقطة.
الفصحى هي لغة الكتابة والإعلام والوثائق الرسمية، وهي الغالبة في بيانات التدريب. لذلك النماذج جيّدة فيها نسبيًا.
العاميات هي ما يكتبه الناس فعلًا في الرسائل والتعليقات وطلبات الدعم. وهي متباعدة إلى درجة أنّ المصرية والمغربية والخليجية قد تختلف في الكلمات الأساسية نفسها. وحضورها في بيانات التدريب ضعيف جدًا.
هذه الفجوة تُنتج مفارقة عملية: النموذج يبدو ممتازًا في اختباراتك المكتوبة بالفصحى، ثم يتعثّر مع أول مستخدم حقيقي يكتب بعاميّته. إن كان تطبيقك موجّهًا للجمهور فاختبره بالعاميّة التي يستخدمها جمهورك فعلًا، لا بالفصحى التي تكتب بها أنت.
يُضاف إلى ذلك الكتابة بالحروف اللاتينية والأرقام، وهي شائعة جدًا في المحادثات، والنماذج تتعامل معها بتفاوت كبير.
المشكلة الثالثة: تفاصيل الكتابة
عدّة خصائص كتابية تُربك المعالجة، وتُعالَج غالبًا بالتطبيع قبل الإرسال.
التشكيل. النصّ العربي يُكتب عادةً بلا حركات، فتصير الكلمة الواحدة قابلة لقراءات متعدّدة. النموذج يستنتج من السياق، وهو ما يفعله البشر أيضًا، لكنّه مصدر خطأ إضافي. وفي بعض المهامّ يفيد التشكيل، وفي معظمها يزيد الرموز بلا مقابل، فيُستحسن إزالته.
اختلاف صور الحروف. الألف بأشكالها، والهاء والتاء المربوطة، والياء والألف المقصورة. الكلمة نفسها تُكتب بصور مختلفة، فيراها النظام كلمات مختلفة. توحيد هذه الصور قبل الفهرسة يُحسّن جودة الاسترجاع فورًا، وهو من أرخص التحسينات المتاحة.
المحارف الخفية. حرف التطويل، وعلامات الاتجاه، والمسافات غير القياسية، تدخل من النسخ واللصق وتُفسد المطابقة.
الاتجاه من اليمين إلى اليسار. ليست مشكلة للنموذج بل لعرض النتيجة، وتحدث الفوضى تحديدًا عند خلط العربية بمصطلحات لاتينية أو أرقام أو شيفرة داخل السطر.
ما يعمل فعلًا: حلول عملية
مرتّبة بحسب أثرها.
١. طبّع النصّ قبل الفهرسة والإرسال. وحّد صور الألف والياء والتاء المربوطة، وأزل التشكيل والتطويل والمحارف الخفية، وطبّع المسافات. هذه خطوة رخيصة، وأثرها على جودة الاسترجاع أكبر من أثر أي تغيير آخر بنفس التكلفة.
٢. اختر نموذج التمثيل بعناية، ولا تفترض. جودة أنظمة الاسترجاع تتحدّد بنموذج التمثيل المتجهي أكثر مما تتحدّد بنموذج التوليد. كثير من نماذج التمثيل الشائعة ضعيفة في العربية. اختبر مرشّحين أو ثلاثة على أسئلة من مجالك واقس النتيجة، لأنّ الترتيب العام في اللوحات لا يتوقّع أداءهم في العربية.
٣. اجمع البحث المعجمي مع البحث الدلالي. البحث بالكلمات المفتاحية يُصيب في المصطلحات والأسماء والأرقام، والبحث الدلالي يُصيب في إعادة الصياغة. ودمجهما مفيد في العربية أكثر من غيرها بسبب تعدّد صور الكلمة الواحدة.
٤. قطّع الوثائق بحسب الرموز لا الحروف. إن قطّعت بعدد الحروف فستحصل على مقاطع أكبر بكثير مما تتوقّع بالرموز، فتتجاوز الحدود وتدفع أكثر. اقس بالمُقسِّم الفعلي للنموذج الذي تستخدمه.
٥. اضبط ميزانية الرموز صراحةً. احسب متوسّط الرموز لكل طلب في تطبيقك العربي بدلًا من الاعتماد على تقديرات إنجليزية. الفرق كبير بما يكفي ليغيّر جدوى الميزة كلها.
٦. اكتب التعليمات بالعربية عندما تريد إجابة عربية. التعليمة الإنجليزية تعمل، لكنّ الإجابة تنزلق كثيرًا إلى تركيب مترجم من الإنجليزية. والتعليمة العربية تُنتج نصًا أقرب إلى العربية الطبيعية.
أسئلة متكرّرة
ما أفضل نموذج للعربية؟
يتغيّر الجواب بسرعة، فالسؤال الأصلح هو كيف تقيس. ابنِ مجموعة اختبار من خمسين إلى مئة سؤال حقيقي من مجالك، بالعاميّة التي يستخدمها مستخدموك، ثم قارن مرشّحين. النماذج الكبيرة العامة صارت جيّدة في الفصحى، وتبقى المفاجآت في العاميّات.
هل النماذج المتخصّصة في العربية أفضل من العامة؟
ليس بالضرورة. النماذج العامة الكبيرة تتفوّق كثيرًا بفضل حجمها، رغم أنّ العربية جزء صغير من تدريبها. والنماذج المتخصّصة قد تتميّز في مهامّ لغوية دقيقة أو حين تكون الكلفة قيدًا.
هل أترجم إلى الإنجليزية ثم أعالج؟
كان هذا حلًا معقولًا وصار أقلّ جدوى. الترجمة تُضيف كلفة وزمنًا وتفقد الفوارق الدقيقة، خصوصًا في العاميّات والأسماء. عالج بالعربية مباشرة، وأنفق الجهد على التطبيع والاسترجاع.
هل يجب إزالة التشكيل؟
في معظم الحالات نعم، لأنّه يزيد الرموز بلا فائدة. أمّا في المهامّ التي يحمل فيها التشكيل معنى فارقًا — كالنصوص الشرعية والشعر والتعليم اللغوي — فاحفظه.
لماذا يخلط النموذج الفصحى بالعاميّة في إجابته؟
لأنّ بيانات التدريب مخلوطة، ولم يُطلب منه مستوى محدّد. حدّد ذلك صراحةً في التعليمة، مع مثال أو مثالين على الأسلوب المطلوب.
للتوسّع
هذه الفوارق تُترجم مباشرة إلى كلفة وجودة في أي تطبيق عربي حقيقي. دورة نماذج اللغة الكبيرة مجانية وتشرح التقطيع والسياق، وهما مفتاح فهم كل ما سبق، ودورة معالجة اللغة الطبيعية تعالج التطبيع والتمثيل المتجهي. ولمن يبني نظام إجابة على وثائق عربية، تذهب دورة أنظمة RAG إلى التقطيع وجودة الاسترجاع وإعادة الترتيب بالتفصيل.
والخطوة الأولى العملية، وأرخصها: قِس عدد الرموز في نصوصك العربية قبل أن تُخطّط ميزانيتك. الرقم يفاجئ معظم الفرق.