الوحدة 9 — توليد النصّ والصورة والصوت

الوحدات السابقة تعمّقت في نماذج توليد الصور. لكنّ التوليد أوسع من ذلك بكثير: النصّ، الصوت، الفيديو، الجزيئات، الشيفرة. هذه الوحدة توضّح لماذا تسيطر أسرة معيّنة على كلّ وسيط، وما النماذج المتاحة اليوم، وأيّ كلفة يتطلّب توليدها.

النصّ: انحدار من اليسار إلى اليمين

النصّ سلسلة من الرموز. صيغة نمذجته المهيمنة هي الانحداريّة:

$$p(\text{نصّ}) = \prod_{t=1}^{T} p(\text{رمز}_t \mid \text{رمز}_1, \dots, \text{رمز}_{t-1})$$

النموذج يتنبّأ برمز جديد بمعلوميّة كلّ ما سبق، ثمّ يُضيفه إلى السياق، ثمّ يتنبّأ بالتالي. هذه هي بنية GPT وأخواتها، ومكوّنها الأساسيّ هو المحوّل مع انتباه ذاتيّ مقنَّع (كلّ رمز يرى ما قبله فقط).

لماذا الانحدار وليس الانتشار للنصّ؟ لسببين. الأوّل: النصّ متغيّر الطول بطبيعته، والانحدار يتعامل معه بأناقة (نتوقّف عند رمز نهاية-الجملة). الانتشار يفترض شكلًا ثابتًا للتنسور، وهو تكييف غير طبيعيّ للنصّ. الثاني: الأرجحية على النصّ محسوبة بدقّة في النموذج الانحداريّ، وقابلة للتحسين مباشرة بلا حدود دُنيا كما في ELBO.

النماذج المتاحة اليوم مفتوحة الوزن: Llama 3 (Meta)، Mistral، Qwen (Alibaba). أمّا المغلقة فأشهرها GPT-4 (OpenAI) وClaude (Anthropic) وGemini (Google). الكلفة الحسابيّة للتوليد نصف خطّيّة في طول الجواب (المحوّل يعيد حساب الانتباه في كلّ رمز جديد، وإن كانت المكتبات تحفظ ما يمكن حفظه عبر KV-cache).

الصورة: انتشار في الصدارة

للصورة، الوحدات السابقة أظهرت لماذا الانتشار هو المهيمن الحاليّ: جودة عالية، تنوّع ممتاز، تكييف سلس بالنصّ عبر الانتباه المتقاطع. الأسرة الانحداريّة على الصورة (مثل PixelCNN وImage-GPT وPARTI من Google) موجودة لكنّها ثانويّة عمليًّا:

• توليد بكسل بكسل بطيء جدًّا (ألف بكسل مضروب في ألف بكسل مضروب في ثلاث قنوات لصورة صغيرة).
• الأرجحية دقيقة لكن الجودة أقلّ من الانتشار على الميزانيّة الحسابيّة نفسها.

اليوم القائمة العملية للصور: Stable Diffusion 3 (Stability AI، مفتوح)، FLUX.1 (Black Forest Labs، مفتوح جزئيًّا)، Midjourney (مغلق)، DALL-E 3 (OpenAI، مغلق). ميزة النماذج المفتوحة أنّها قابلة للتشغيل محلّيًّا وقابلة للضبط الدقيق على مجموعة بيانات خاصّة عبر تقنيات مثل LoRA (Low-Rank Adaptation).

الصوت: مفاضلة بين الأسرتين حسب النوع

الصوت أكثر تعقيدًا: الوسيط نفسه سلسلة زمنيّة طويلة (16 كيلوهرتز مثلًا تعطي 16 ألف عيّنة في الثانية). لكنّه غالبًا يُمثَّل في فضاء مضغوط قبل النمذجة.

• توليد الكلام (Text-to-Speech): النماذج الحديثة كـTortoise وXTTS تستعمل مسارًا هجينًا: نموذج انحداريّ ينبأ برموز صوتيّة مضغوطة، ثمّ فكّ ترميز يعيد بناء موجة الصوت. Bark يستعمل انحدارًا كاملًا. الأداء ممتاز اليوم، مع استنساخ صوت من ثوانٍ قليلة (وهو ما يفتح مسائل الحقوق التي سنعالجها في الوحدة 10).
• توليد الموسيقى: نماذج مثل MusicLM وMusicGen (Meta) تستعمل انحدارًا على رموز صوتيّة مضغوطة بـEnCodec (مضغّط صوتيّ عصبيّ). الجودة تصل إلى دقائق من الموسيقى المقنعة، مع تكييف بالنصّ.
• الانتشار على الصوت: AudioLDM وStable Audio تُطبّق نموذج انتشار على المخطّط الطيفيّ (spectrogram) للصوت. جيّدة للأصوات القصيرة والمؤثّرات، وأقلّ جودة على الموسيقى الطويلة حاليًّا.

المفاضلة العامّة: الانحدار يتفوّق على السلاسل الطويلة (كلام كامل، أغنية)، والانتشار يتفوّق على المقاطع القصيرة عالية الجودة (مؤثّر صوتيّ، جرس).

كلفة التوليد: مقارنة صريحة

فهم الكلفة الحسابيّة يُبدّل قرارات الهندسة. لصورة 512 في 512:

النموذج	زمن الاستدلال (RTX 4090)	ذاكرة VRAM
Stable Diffusion 1.5 (30 خطوة)	≈ 2 ثواني	≈ 4 جيغابايت
Stable Diffusion XL (30 خطوة)	≈ 6 ثواني	≈ 8 جيغابايت
FLUX.1-dev (25 خطوة)	≈ 12 ثواني	≈ 16 جيغابايت

لجواب نصّيّ متوسّط (500 رمز):

النموذج	زمن الاستدلال (RTX 4090)	ذاكرة VRAM
Llama 3 8B (fp16)	≈ 5 ثواني	≈ 16 جيغابايت
Llama 3 70B (int8)	≈ 30 ثانية	≈ 40 جيغابايت

هذه الأرقام تُوجّه القرار: نموذج للتشغيل على هاتف (نصّ 1B إلى 3B، لا صورة)، أو على حاسوب مكتبيّ (نصّ 8B، صورة SD)، أو على خادم (نموذج كبير، توليد صور FLUX).

اتّجاه: النماذج متعدّدة الوسائط

الحدود بين النصّ والصورة والصوت تتلاشى في نماذج متعدّدة الوسائط حديثة:

• GPT-4o (OpenAI, 2024): نصّ + صورة + صوت في نموذج واحد بمرور واحد.
• Gemini 1.5 Pro (Google): نصّ + صورة + فيديو + صوت، بسياق مليون رمز.
• Qwen2-VL (Alibaba): مفتوح الوزن، فهم الصور والفيديو بجودة عالية.

هذه النماذج تسمح بتفاعلات لم تكن ممكنة: «اسمع هذا التسجيل الصوتيّ ثمّ ارسم مشهدًا يعكس مزاجه»، أو «شاهد هذا الفيديو ثمّ اكتب ملخّصًا مع اقتباسات دقيقة». الاتّجاه واضح: الوسائط تتقارب داخل نماذج واحدة أكبر، مع تخصّصات دقيقة عبر LoRA لبعض المهمّات.

اختيار الأسرة حسب الوسيط

قاعدة عمليّة تُوفّر ساعات من التجريب. نصّ طويل أو رمز يوليَّد رمزًا رمزًا (كلام، شيفرة، موسيقى): استعمل نموذجًا انحداريًّا (محوّلًا). صورة أو مقطع صوتيّ قصير عالي الجودة مع تكييف مرن: استعمل نموذج انتشار. مهمّة تدمج وسائط: استعمل نموذجًا متعدّد الوسائط جاهزًا، لا تدرّب من الصفر إلّا إن كان لديك سبب قويّ جدًّا.

التوليد على الفيديو: الحدّ الحالي

الفيديو هو الحدّ الأخير للنماذج التوليدية. Sora (OpenAI, 2024) وKling (Kuaishou) وRunway Gen-3 تنتج فيديوهات بمدّة تصل إلى دقيقة بجودة سينمائيّة تقريبًا. البنية القاعديّة: نموذج انتشار كامن يعمل على تنسور زمانيّ-مكانيّ، مع طبقات انتباه إضافيّة على البعد الزمنيّ لضمان اتّساق الحركة.

الكلفة الحسابيّة عملاقة: توليد ثانية واحدة من فيديو بجودة عالية يتطلّب دقائق على تجمّع بطاقات رسوميّات. النماذج المفتوحة (CogVideoX من THU، Open-Sora من Stability) تبقى بعيدة عن الجودة المغلقة، لكنّها تسدّ الفجوة بسرعة.

في الخلاصة

• النصّ ينحدر انحدارًا (محوّلات كـGPT، Llama، Mistral)؛ الأرجحية دقيقة وطول متغيّر بطبيعتها.
• الصورة يسيطر عليها الانتشار (Stable Diffusion، FLUX، DALL-E)، مع تكييف مرن بالنصّ عبر الانتباه المتقاطع.
• الصوت يمزج: انحدار لسلاسل طويلة (كلام، موسيقى)، وانتشار لمقاطع قصيرة عالية الجودة (مؤثّرات).
• النماذج متعدّدة الوسائط (GPT-4o، Gemini، Qwen2-VL) تُقلّص الفروق بين الوسائط، وهي الاتّجاه الرئيسيّ للأشهر القادمة.

الوحدة الأخيرة تعود إلى الوجوه المولَّدة بعناية، وتفتح سؤالًا لا يمكن تفاديه: من يملك الحقوق؟ ومن يُساءل عن الاستعمال؟