الوحدة 1 — حدود الشبكات التكرارية التي يتجاوزها الانتباه

انتهت الدورة السابقة إلى LSTM وGRU: شبكتان تكراريّتان أزاحتا الشبكة البسيطة، وأتاحتا نمذجة تبعيات أطول في اللغة. لكنّ بيْنَ 2015 و2017 وقعت في المجال ثلاث ملاحظات أعادت رسم الخريطة بالكامل: أنّ التكرار يُقيّد الحوسبة تسلسليًّا، وأنّ ناقل السياق الوحيد بين المرمّز وفاكّ الترميز عنق خانق، وأنّ الآلية التي جاءت لعلاج هذا العنق — الانتباه — تستطيع أن تحلّ محلّ التكرار نفسه.

هذه الوحدة تروي هذه الرواية بترتيبها الصحيح، لأنّ من لا يعرف السبب في مجيء Transformer يقرؤه معمارية غامضة. أمّا من عرفه فيقرؤه ردًّا محدّدًا على مشكلة محدّدة.

التسلسل: القيد الذي لا يتحمّله المسرّع

الفكرة الجوهرية للشبكة التكرارية أنّها تبني حالة $h_t$ تعتمد على الحالة السابقة $h_{t-1}$ وعلى المدخَل الحالي $x_t$:

$$h_t = f(W_h h_{t-1} + W_x x_t + b)$$

هذه المعادلة أنيقة في الرياضيات، لكنّها كارثة على وحدة المعالجة الرسومية. فحساب $h_t$ يستلزم انتظار $h_{t-1}$، وحساب $h_{t-1}$ يستلزم انتظار $h_{t-2}$، وهكذا حتى بداية التسلسل. جملة من مئة كلمة تُترجَم إلى مئة خطوة يُرتَّب تنفيذها في زمن يزيد رتبة على رتبة على ما يحتاجه ضرب مصفوفات موازٍ.

وحين انتقل المجال إلى مجموعات نصيّة عملاقة، لم يعد هذا القيد نظريًّا. فمدرِّب يريد أن يُطعم ملياري جتون في اليوم يقيس المتاح كلّه بمعيار واحد: كم عمليّة موازية في كلّ ضربة ساعة. والشبكة التكرارية تُهدر معظم قدرة المسرّع لأنّها تُلزمه بالإكمال قبل التقدّم.

التسلسل ليس مشكلة سرعة فقط

حين يزيد طول التسلسل يزيد أيضًا طول مسار التدرّج. فتدرّج كلمة في الآخر يعتمد على مئات المضاعفات المتتالية، وهذا هو أصل التدرّج المتلاشي الذي عالجه LSTM جزئيًّا دون أن يحلّه بالكامل. الانتباه، كما سنرى، يُقصّر هذا المسار إلى خطوة واحدة بين أيّ زوج من الجتونات، مهما بعُدَا.

عنق ناقل السياق

المشكلة الثانية كانت أشدّ ضررًا في مهمّة الترجمة. كانت المعمارية السائدة قبل 2015 هي المرمّز-فاكّ الترميز: يقرأ المرمّز الجملة المصدر جتونًا جتونًا ويُلخّصها في متّجه ثابت الحجم يُسمّى ناقل السياق، ثمّ يستعمله فاكّ الترميز لتوليد الجملة الهدف.

الفكرة تبدو معقولة، لكنّ التطبيق يكشف حدًّا صارمًا: متّجه واحد من 512 مركّبة لا يستطيع أن يحمل معنى جملة من ثلاثين كلمة دون فقدان. وقد أظهرت التقييمات التي أجراها Bahdanau وزملاؤه أنّ جودة الترجمة تنهار كلّما زاد طول الجملة المصدر، لأنّ ناقل السياق يبدأ في نسيان بدايتها لصالح نهايتها.

المشكلة إذًا ليست في اللغة ولا في الشبكة، بل في الفكرة نفسها — تلخيص كلّ شيء في متّجه ثابت. والحلّ يقتضي التخلّي عن هذا التلخيص.

انتباه Bahdanau: الجسر إلى Transformer

في ورقتَين ظهرتَا سنة 2014 و2015 اقترح Bahdanau وCho وBengio تعديلًا يبدو بسيطًا: بدلًا من إعطاء فاكّ الترميز متّجهًا وحيدًا، أعطه الحقّ في النظر إلى كلّ حالات المرمّز، ودعه في كلّ خطوة توليد يختار الحالة الأكثر صلة بما هو بصدد إنتاجه.

هذا الاختيار الموزون هو الانتباه. الدالّة الموزّعة على الحالات المصدر ليست ثابتة: بل تُحسَب في كلّ خطوة انطلاقًا من حالة فاكّ الترميز الجارية، فتُعطي وزنًا عاليًا للحالات ذات المعنى القريب، ووزنًا منخفضًا للباقي. ومجموع الحالات المرجّح بهذه الأوزان يحلّ محلّ ناقل السياق الثابت.

النتيجة العددية كانت مذهلة على مقاييس الترجمة العصبية آنذاك. لكنّ الأهمّ أنّ فكرة «انظر إلى كلّ الحالات، ولا تُلخّصها في متّجه» أثبتت أنّ الانتباه ليس زخرفة، بل آلية معالجة كاملة. وسنشرح ميكانيكيّتها بالتفصيل في الوحدة 2.

التحوّل الحاسم: 2017

في يونيو 2017 نشر Vaswani وشركاؤه ورقة عنوانها Attention Is All You Need. الرسالة كانت في العنوان: يمكن الاستغناء عن التكرار بالكامل إذا استُعمل الانتباه لا لتكميل الشبكة التكرارية، بل ليحلّ محلّها. المعمارية المقترَحة كانت Transformer، ولم تضمّ حالة تكرارية واحدة.

الرابح الرئيسي كان الحوسبة الموازية. جميع الجتونات في التسلسل تُعالَج دفعة واحدة في ضرب مصفوفات ضخم، لأنّ الانتباه لا يفرض ترتيبًا زمنيًّا للحساب. وهذا هو ما جعل تدريب النماذج الضخمة ممكنًا: فبِلا Transformer، لا BERT ولا GPT ولا T5.

الفترة القصيرة التي فصلت المفاهيم يُلخّصها هذا الجدول:

السنة	العلامة	ما أضافته
2014	Sutskever وCho: seq2seq بشبكات تكرارية	إطار المرمّز-فاكّ الترميز، مع عنق ناقل السياق
2015	Bahdanau: الانتباه المُضاف	يمرّر فاكّ الترميز على كلّ حالات المرمّز عبر أوزان متكيّفة
2015-2016	Luong: انتباه الجداء النقطي، ثمّ التعليم المصحوب بالمعلّم	صيغ أبسط للانتباه، ونتائج أفضل على الترجمة
2017	Vaswani: Transformer	الاستغناء عن التكرار بالكامل، والانتباه الذاتي كوحدة أساس
2018	BERT ثمّ GPT-1	إنجاح النقل من التدريب المسبق إلى الأفياد

ما يبقى من الشبكات التكرارية

ليس المقصود أنّ RNN وLSTM انتهت من الاستعمال. فهي لا تزال مناسبة لسياقات محدّدة: التسلسلات الصغيرة، والقياسات الزمنية، والاستدلال في الوقت الحقيقي على معدّات صغيرة حيث السياق مضغوط بطبيعته. لكنّها لم تعد الافتراض الأوّل في اللغة والرؤية.

الدرس الأعمق ليس اسم نموذج بعينه، بل مبدأ الاختيار: إن كان القيد هو التسلسل، فابحث عن معمارية موازية بطبيعتها. Transformer هو التطبيق الأشهر لهذا المبدأ، لكنّ حالات لاحقة، كنماذج المِمْبَات (Mamba) والفضاءات الحالة الخطّية، جاءت لتُعيد فتح الملفّ من زاوية مختلفة. المعركة على بديل Transformer لم تُحسَم بعد، لكنّ منطقها هو نفسه: مقايضة بين الموازاة، وطول السياق، وقدرة النموذج على تذكّر ما بعُد.

المبرمج المسؤول

حين تختار بين شبكة تكرارية وMohol Transformer اليوم، لا تسأل عن الأدق: بل عن البيئة. سياق قصير على متحكّم صغير؟ LSTM يفوز. سياق طويل مع مسرّع؟ Transformer. سياق طويل جدًّا مع ذاكرة ضيّقة؟ ابحث عن نماذج الفضاء الحالة الجديدة قبل أن تُحمّل GPU بضعف ما يحتمل.

في الخلاصة

• تفرض الشبكات التكرارية تسلسلًا حسابيًّا يُهدر مسرّعات الرسوميات، ويُطيل مسار التدرّج طولًا يكافئ طول التسلسل نفسه.
• كان ناقل السياق الثابت في seq2seq عنق زجاجة يُنسي الجمل الطويلة بدايتها؛ وقد رفع Bahdanau عام 2015 هذا العنق بإعطاء فاكّ الترميز حقّ النظر إلى كلّ حالات المرمّز.
• Transformer، الذي قدّمه Vaswani سنة 2017، ذهب أبعد: فاستبدل التكرار بالكامل بالانتباه، وسمح بمعالجة موازية لكلّ التسلسل دفعة واحدة.
• الشبكات التكرارية لم تختفِ، لكنّها انسحبت إلى نيشات محدّدة: بيئات صغيرة وسياقات قصيرة؛ أمّا اللغة الحديثة فقد استقرّت على Transformer، ومنافسوه الجدد يحملون منطقًا مشابهًا.

الوحدة التالية: نحسب الانتباه بأيدينا على ثلاث جتونات، ونرى من أين تخرج ثلاثيّة الاستعلام والمفتاح والقيمة، ولماذا نقسم على جذر البُعد.