الوحدة 8 — طرائق تدرّج السياسة

طرح مختلف جذريًّا: بدل تعلّم قيمة ثمّ استخلاص السياسة، لماذا لا نتعلّم السياسة مباشرة؟ لدينا شبكة $\pi_\theta(a \mid s)$ تُخرج توزيعًا احتماليًّا على الأفعال، ونضبط $\theta$ بتدرّج على الأداء المُتوقّع. تفتح هذه العائلة الباب لثلاث ميزات لا يوفّرها DQN: سياسات احتماليّة، أفعال مستمرّة، وضمانات تحسين متجانسة.

دالّة الأداء وتدرّجها

نُعرّف أداء السياسة بأنّها العائد المتوقّع الأصلي:

$$J(\theta) = \mathbb{E}_{\pi_\theta}\left[ G_0 \right] = \mathbb{E}_{\pi_\theta}\left[ \sum_{t=0}^{T-1} \gamma^t r_{t+1} \right]$$

نُريد $\nabla_\theta J$ لتطبيق صعود تدرّج. المشكلة: $J$ يُحسب على حلقات تولّدها السياسة نفسها، فتدرّجها ليس بديهيًّا. مبرهنة تدرّج السياسة تقدّم لنا صيغة قابلة للحساب:

$$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta}\left[ \sum_{t=0}^{T-1} G_t \nabla_\theta \log \pi_\theta(a_t \mid s_t) \right]$$

القراءة الحدسيّة: يحرّك التدرّج $\theta$ في اتّجاه يزيد احتمال الأفعال التي أعطت عائدات كبيرة، ويقلّل احتمال الأفعال التي أعطت عائدات صغيرة. حرفيًّا: هذا هو ما نريده.

خوارزميّة REINFORCE

أبسط استعمال للصيغة أعلاه، من ورقة ويليامز 1992:

1. شغّل حلقة كاملة تحت $\pi_\theta$، وسجّل $(s_t, a_t, r_{t+1})$.
2. احسب $G_t$ لكلّ خطوة (المجموع المخفوض للمكافآت القادمة).
3. حدّث: $\theta \leftarrow \theta + \alpha \sum_t G_t \nabla_\theta \log \pi_\theta(a_t \mid s_t)$.

import torch
import torch.nn as nn
import torch.optim as optim
import gymnasium as gym

class Politique(nn.Module):
    def __init__(self, dim_etat, dim_action):
        super().__init__()
        self.reseau = nn.Sequential(
            nn.Linear(dim_etat, 128),
            nn.ReLU(),
            nn.Linear(128, dim_action),
        )
    def forward(self, s):
        logits = self.reseau(s)
        return torch.distributions.Categorical(logits=logits)

env = gym.make("CartPole-v1")
politique = Politique(4, 2)
optimiseur = optim.Adam(politique.parameters(), lr=1e-3)
gamma = 0.99

for episode in range(1000):
    etat, _ = env.reset()
    log_probs, recompenses = [], []
    done = False
    while not done:
        dist = politique(torch.tensor(etat, dtype=torch.float32))
        action = dist.sample()
        log_probs.append(dist.log_prob(action))
        etat, r, term, trunc, _ = env.step(int(action))
        recompenses.append(r)
        done = term or trunc

    # حساب G_t لكلّ خطوة
    G, retours = 0, []
    for r in reversed(recompenses):
        G = r + gamma * G
        retours.insert(0, G)
    retours = torch.tensor(retours)

    perte = -torch.stack([lp * G for lp, G in zip(log_probs, retours)]).sum()
    optimiseur.zero_grad()
    perte.backward()
    optimiseur.step()

نقطة تنفيذ حاسمة: نستعمل .sample() لا .argmax(). السياسة احتماليّة، والاستكشاف يأتي مجّانًا من عيّنة التوزيع. لا حاجة إلى إبسيلون-جشعة صريحة كما في DQN.

المشكلة الكبرى: التباين

تعمل REINFORCE، لكنّها تعمل ببطء وبتذبذب واسع. السبب: $G_t$ تعتمد على كامل الحلقة، وتباينها ضخم، فيدخل هذا التباين مباشرة في التدرّج.

مثال ملموس: على CartPole، حلقة قد تدوم 10 خطوات (سقوط سريع) أو 500 خطوة (نجاح). العائد يتغيّر من $10$ إلى $500$. التدرّج المستند إلى قيمة $G = 500$ يهيمن على تدرّج قيمته $G = 10$، حتّى إن كانت الأفعال في الحلقة الثانية مشابهة تمامًا لأفعال في الأولى.

الخطّ الأساسي: الحلّ الجميل

الحيلة: طرح خطّ أساسي $b(s)$ لا يعتمد على الفعل من $G_t$:

$$\nabla_\theta J = \mathbb{E}\left[ \sum_t (G_t - b(s_t)) \nabla_\theta \log \pi_\theta(a_t \mid s_t) \right]$$

يمكن إثبات أنّ التدرّج لا يتغيّر في المتوسّط ما دام $b(s)$ لا يعتمد على $a$. لكنّه يمكن أن يُقلّص التباين تقليصًا هائلًا إذا اخترناه بحكمة.

خيار طبيعي: $b(s) = V^{\pi}(s)$. عندها $G_t - V(s_t)$ يمثّل الميزة $A(s_t, a_t)$: كم كان الفعل أفضل من المتوسّط في تلك الحالة. لا نتوقّف إلّا عند الحاجة إلى تحديث $\theta$ إذا كان الفعل أفضل من المتوسّط، والقيمة أعلاه أفضل نسبيًّا لا مطلقًا.

هذه الفكرة — تعلّم $V$ إلى جانب $\pi$، واستخدام $V$ خطًّا أساسيًّا — تُنتج الممثّل-الناقد، وستكون موضوع الوحدة التالية.

الأفعال المستمرّة

لا يستطيع DQN التعامل مع فضاءات أفعال مستمرّة ($\max_a$ على مجموعة مستمرّة ثقيل). تدرّج السياسة يتعامل معها بشكل طبيعي: نستعمل توزيعًا مستمرًّا (غاوسي عادةً) بمعاملات تعطيها الشبكة.

class PolitiqueGaussienne(nn.Module):
    def __init__(self, dim_etat, dim_action):
        super().__init__()
        self.moyenne = nn.Sequential(
            nn.Linear(dim_etat, 128), nn.ReLU(),
            nn.Linear(128, dim_action),
        )
        self.log_ecart = nn.Parameter(torch.zeros(dim_action))
    def forward(self, s):
        mu = self.moyenne(s)
        sigma = torch.exp(self.log_ecart)
        return torch.distributions.Normal(mu, sigma)

مفيد على القيادة الذاتيّة، الروبوتيّات، وضبط عزم دوران محرّك — كلّ ما يتطلّب فعلًا يأخذ قيمة حقيقيّة لا فئويّة.

متى تدرّج السياسة، ومتى DQN

• الأفعال المستمرّة: تدرّج السياسة إجباري.
• سياسة احتماليّة مطلوبة: تدرّج السياسة (في الشطرنج والبوكر مثلًا).
• كفاءة العيّنة حرجة: DQN غالبًا (يستخدم إعادة الرجعة، عيّنات كلّ خطوة، بينما REINFORCE يستخدم كلّ حلقة مرّة واحدة ثمّ ينساها).
• بيئة بسيطة، فضاء أفعال فئوي صغير: كلاهما يعمل؛ DQN غالبًا أسرع.

قاعدة التطبيع

قبل تطبيق تدرّج REINFORCE، طبّعوا $G_t$: retours = (retours - retours.mean()) / (retours.std() + 1e-8). تعديل بسيط يُقلّص التباين تقليصًا كبيرًا، ويجعل معدّل التعلّم أقلّ حسّاسيّة للمهمّة. إسقاطه سبب شائع لتدريب لا يتعلّم.

الخلاصة

• تدرّج السياسة يُعدّل $\theta$ في اتّجاه يرفع احتمال الأفعال ذات العائد المرتفع؛ الاستكشاف يأتي من سياسة احتماليّة.
• REINFORCE هو النسخة الأبسط، لكن تباينه ضخم لأنّه يستعمل $G_t$ الكامل من الحلقة.
• الخطّ الأساسي يُقلّص التباين دون تحيّز؛ استعمال $V(s)$ خطًّا أساسيًّا يُعطي الميزة $A(s, a)$.
• الأفعال المستمرّة حصريّة تقريبًا لعائلة تدرّج السياسة؛ وسياسة احتماليّة مفيدة في مسائل الخصم.

الوحدة التالية: الممثّل والناقد، حيث نمزج قوّة $V$ وسياسة احتماليّة في شبكتين تعمل معًا، ثمّ نبني على ذلك A2C وPPO — نقطة بداية العمل الصناعي الحديث في التعلّم المعزّز.