الدرس 4 — المتتاليات والمحوّلات
الصورة معطى ثابت الحجم، والجملة ليست كذلك: طولها متغيّر، وترتيبها يحمل المعنى، والكلمة الأولى قد تحدّد معنى الكلمة الأخيرة. وهذا يقتضي بنية مختلفة.
المشكلة: الترتيب والمدى الطويل
«الكلب عضّ الرجل» و«الرجل عضّ الكلب» تحتويان الكلمات نفسها بمعنى مختلف تماماً. ونموذج يهمل الترتيب يعجز عن التفريق بينهما.
وأصعب من ذلك: الترابط بعيد المدى. في «الفتاة التي التقيتُ بها في المؤتمر الذي عُقد في تونس السنة الماضية كانت مهندسة»، الفعل يجب أن يطابق «الفتاة»، وبينهما اثنتا عشرة كلمة.
الشبكات المتكرّرة: الحلّ الأول
الشبكة المتكرّرة (RNN) تعالج المتتالية عنصراً بعنصر، وتحمل حالة داخلية تتحدّث في كلّ خطوة. الحالة ذاكرة مضغوطة لكلّ ما رآه النموذج حتى الآن.
الفكرة صحيحة، وحدودها قاتلة:
- النسيان: الحالة متّجه ثابت الحجم، فبعد عشرين كلمة تكون معلومات البداية قد ذابت.
- البطء: المعالجة تتابعية بحكم البنية، فلا يمكن توزيعها على التوازي. وهذا يعني عدم إمكان الاستفادة الكاملة من المعالج الرسومي.
- التدرّجات المتلاشية على طول الزمن: نفس المشكلة التي رأيناها في العمق، لكن على امتداد المتتالية.
LSTM وGRU بنيتان محسَّنتان تضيفان بوّابات تتعلّم ما تحفظه وما تنساه. وقد حسّنتا الذاكرة كثيراً، وسيطرتا على المجال بين 2014 و2017، ولم تحلّا مشكلة التتابعية والبطء.
آلية الانتباه: الفكرة التي غيّرت كلّ شيء
الانتباه يقلب المقاربة. بدل ذاكرة مضغوطة تُمرَّر خطوةً بخطوة، يرى النموذج المتتالية كلّها دفعةً واحدة، ويحسب لكلّ عنصر مدى صلته بكلّ عنصر آخر.
عند معالجة كلمة «كانت» في المثال السابق، تحسب الآلية أوزان صلة بين هذه الكلمة وكلّ الكلمات الأخرى، فتعطي «الفتاة» وزناً عالياً و«تونس» وزناً منخفضاً. والمسافة لا تهمّ: الكلمة على بعد اثنتي عشرة كلمة تُقاس بالطريقة نفسها التي تُقاس بها الكلمة المجاورة.
الانتباه يحلّ مشكلتين في وقت واحد. الذاكرة: لا شيء يُضغط في متّجه واحد، فكلّ عنصر متاح دائماً. والسرعة: كلّ هذه الحسابات مستقلّة عن بعضها، فتُنفَّذ على التوازي على معالج رسومي. وهذه النقطة الثانية هي التي سمحت بالتدريب على أحجام لم تكن ممكنة قبلاً.
المحوّل (Transformer)
سنة 2017، ورقة بعنوان «الانتباه هو كلّ ما تحتاجه» قدّمت معمارية تقوم على الانتباه وحده، بلا تكرار. وهي أساس كلّ النماذج اللغوية الحديثة.
مكوّناتها الأساسية:
- الانتباه الذاتي المتعدّد الرؤوس: عدّة آليات انتباه متوازية، كلٌّ تتعلّم نوعاً مختلفاً من العلاقات — نحوية، أو دلالية، أو مرجعية.
- الترميز الموضعي: لأنّ الانتباه لا يعرف الترتيب بطبيعته، تُضاف معلومة الموضع إلى تمثيل كلّ عنصر.
- طبقات كاملة الاتّصال بعد الانتباه، لمعالجة كلّ موضع على حدة.
- الوصلات المتخطّية والتطبيع، لتمكين العمق كما في الدرس الثاني.
الحدّ الحقيقي للمحوّل
قوّة الانتباه هي أيضاً حدّه. حساب الصلة بين كلّ عنصر وكلّ عنصر آخر يعني عدداً من العمليات يتناسب مع مربّع طول المتتالية.
مضاعفة الطول تضاعف الكلفة أربع مرّات. وهذا هو السبب المباشر في وجود حدّ لـنافذة السياق: عدد الرموز التي يستطيع النموذج قراءتها في طلب واحد. وهذا أيضاً موضوع بحث نشط، والنماذج الحديثة تستخدم تقنيات انتباه مقتصد لتوسيع النافذة بلا انفجار في الكلفة.
ما بعد النصّ
المحوّل لم يبقَ في اللغة. البنية عامّة بما يكفي لتعمل على أيّ شيء يمكن تحويله إلى متتالية:
- الصور: تقسيم الصورة إلى مربّعات ومعالجتها كمتتالية (Vision Transformer).
- الصوت: نماذج نسخ الكلام الحديثة كلّها محوّلات.
- البروتينات: تسلسل الأحماض الأمينية متتالية، ومن هنا نجاح التنبّؤ ببنية البروتين.
- الأكواد: البرنامج متتالية رموز، ومن هنا مساعدو الكود.
هذا التعميم هو ما يجعل المحوّل أهمّ معمارية في العقد الأخير، ويستحقّ الفهم بمعزل عن أيّ تطبيق معيّن. ودورة النماذج اللغوية الكبيرة تكمل القصّة من هنا.
في ثلاث جمل
المتتاليات تقتضي بنية تحترم الترتيب وتربط عناصر متباعدة، والشبكات المتكرّرة حلّت ذلك جزئياً لكنّها تنسى البدايات ولا تتوازى. وآلية الانتباه تحسب صلة كلّ عنصر بكلّ عنصر آخر بمعزل عن المسافة، فحلّت الذاكرة والسرعة معاً وأتاحت التدريب على أحجام غير مسبوقة. والمحوّل، القائم على الانتباه وحده، صار أساس النماذج اللغوية وتوسّع إلى الصور والصوت والبروتينات، وحدّه الأساسي أنّ كلفته تتناسب مع مربّع طول المتتالية.
التالي — الدرس 5: الكلفة ونقل التعلّم ←