Advantage：价值函数与动作优势#

1. 绝对回报与相对优势#

假设一个一步任务有动作 1 和动作 0，回报分别为 1 和 0，当前策略以 $0.9$ 的概率选择动作 1。选择动作 1 后，回报是 1；但相对当前策略的平均回报，它增加了多少？Advantage 要计算的就是这种差异，而不是只看绝对得分。

Baseline 已说明：许多动作无关的参照都不改变平均梯度。本页进一步明确价值参照的含义：指定一个动作，相比按当前策略选择动作，预期回报增加多少？

2. 回报、价值与动作优势#

Advantage（动作优势）比较两种预期回报：（1）固定状态下指定当前动作后的预期回报；（2）在该状态下按当前策略选择动作的预期回报。两种情况下，后续都执行同一策略。前者减去后者，就得到这个动作相对当前策略平均表现的优势。

2.1 采样回报、状态价值与动作价值#

下面固定策略 $\pi_\theta$，简记为 $\pi$，$\theta$ 是策略参数。状态和动作记为 $s_t$、$a_t$；状态包含预测后续所需的信息，有限时域时也包含剩余时间。当前动作之后都继续执行同一策略。

令 $R_k$ 为第 $k$ 步奖励，$T$ 为终止前的动作数，$0\le\gamma\le1$ 为折扣因子。从时刻 $t$ 起的后续回报为：

$$G_t=\sum_{k=t}^{T-1}\gamma^{k-t}R_k=R_t+\gamma R_{t+1}+\gamma^2R_{t+2}+\cdots.$$

$G_t$ 是这条 rollout 从当前时刻开始实际得到的累计回报；$\gamma=1$ 时就是不折扣的有限回合。状态价值对当前动作和后续轨迹取期望：

$$V^\pi(s)=\mathbb E_\pi[G_t\mid s_t=s].$$

状态价值表示：从状态 $s$ 开始，当前动作及后续行为均按策略 $\pi$ 执行时的预期回报。 在一步任务中，按动作概率加权可得 $V^\pi(s)=0.9\times1+0.1\times0=0.9$。

若在状态 $s$ 下指定当前动作 $a$，再对后续结果取期望，得到动作价值：

$$Q^\pi(s,a)=\mathbb E_\pi[G_t\mid s_t=s,a_t=a].$$

一步任务在选择动作后便结束，因此 $Q^\pi(s,1)=1$、$Q^\pi(s,0)=0$。指定动作后的回报与按策略选择动作的平均回报，由此得到不同的数值。

由条件期望，$V^\pi(s)=\mathbb E_{a\sim\pi(\cdot\mid s)}[Q^\pi(s,a)]$。因此，$V$ 是当前策略按动作概率对 $Q$ 取的平均，不是所有动作中的最大动作价值。

2.2 定义动作优势#

将动作价值减去当前状态价值：

$$\boxed{A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s).}$$

$A^\pi>0$ 表示这个动作的预期回报高于当前策略的平均表现；小于零表示更低，等于零表示相同。

2.3 两动作任务的真实优势计算#

在两动作的一步任务中，动作 $1$ 的回报为 $1$，动作 $0$ 的回报为 $0$；当前策略以 $0.9$ 的概率选择动作 $1$：

按当前动作概率检验优势的均值：$\mathbb E_{a\sim\pi}[A^\pi(s,a)]=0.9\times0.1+0.1\times(-0.9)=0$。动作 $1$ 的绝对回报是 $1$，比当前平均表现高 $0.1$；动作 $0$ 则低 $0.9$。

本例的平均价值是 $0.9$，而 Baseline 算出的方差最优参考值是 $0.1$。价值参照与方差最优值确实可以不同。

3. 从真实优势到采样估计#

3.1 成功回答的逐位置优势估计#

LLM 的状态是 $s_t=(q,y_{<t})$，动作是下一个 token。假设终局评分为答对得 $1$、答错得 $0$，没有中间奖励，且 $\gamma=1$。若一条回答最终答对，各位置的完整 return 都是 $1$。下面给定两个前缀的真实状态价值，比较成功 rollout 在这些位置的回报残差；数值为手算假设：

同样获得终局评分 1，第二个状态的回报残差为 0.80，大于第一个状态的 0.05。这些是一次成功 rollout 的估计值，并不表示对应 token 的真实 Advantage 必然为正。

表中只比较优势系数；实际更新还取决于 score 向量、学习率和优化器。

3.2 用采样和 Critic 估计优势#

真实的 $Q^\pi$ 和 $V^\pi$ 都是期望，通常无法直接获得。一条完整 rollout 的 $G_t$ 是 $Q^\pi(s_t,a_t)$ 的 Monte Carlo 样本；如果已知准确的状态价值，可以构造：

$$\hat A_t=G_t-V^\pi(s_t).$$

给定状态、动作后，$\mathbb E[\hat A_t\mid s_t=s,a_t=a]=A^\pi(s,a)$。帽子表示它是采样估计，单次估计可能高于或低于真实优势。例如某动作之后有时成功、有时失败，真实 $Q^\pi$ 对这些后续结果取平均；一次 $G_t$ 只记录实际发生的一条后续轨迹。

实际中训练状态价值 Critic $V_\phi(s)$ 来预测 return。固定策略，普通均方误差回归的目标是：

$$L_{\text{value}}(\phi)=\mathbb E[(V_\phi(s_t)-G_t)^2].$$

回报二阶矩存在、预测能力不受限时，MSE 的最优预测是条件均值 $V^\pi(s)$。有限数据、模型容量和优化误差会影响实际拟合。

Actor 用 $V_\phi$ 代替未知的 $V^\pi$，得到 $\hat A_t=G_t-V_\phi(s_t)$。Actor 给出动作分布，状态价值 Critic 预测从当前状态执行策略的预期回报。 这个 Critic 学习的是价值 baseline，没有直接优化按 score 范数平方加权的梯度方差目标。

4. 零均值性质与梯度关系#

4.1 以当前策略为参照的零均值性质#

若用其他固定、动作无关的 $b(s)$ 替代 $V^\pi(s)$，$Q^\pi(s,a)-b(s)$ 仍可用于构造无偏策略梯度，但一般不再等于动作优势。

固定状态，对当前动作分布取平均，有 $\mathbb E_{a\sim\pi}[A^\pi(s,a)]=\mathbb E_{a\sim\pi}[Q^\pi(s,a)]-V^\pi(s)=0$。零均值是以当前策略为参照的结果；换策略后，动作概率、后续行为与价值都可能改变，Advantage 也会改变。

4.2 基于 Advantage 的策略梯度#

记 $z_t=\nabla_\theta\log\pi_\theta(a_t\mid s_t)$。给定 $s_t,a_t$ 后，$z_t$ 已经确定，后续 rollout 的随机性只影响 $G_t$，所以：

$$\begin{aligned} \mathbb E[G_tz_t\mid s_t=s] &=\mathbb E_{a_t\sim\pi}\!\left[\mathbb E[G_t\mid s_t=s,a_t]z_t\right]\\ &=\mathbb E_{a_t\sim\pi}[Q^\pi(s,a_t)z_t]. \end{aligned}$$

这一步用条件期望，把实际回报换成同一状态、动作下的预期回报，平均梯度不变。

由 Baseline 的无偏证明，固定状态下 $V^\pi(s)$ 不依赖当前动作，因此 $\mathbb E[V^\pi(s)z_t\mid s_t=s]=0$。于是：

$$\boxed{\mathbb E[G_tz_t\mid s_t=s]=\mathbb E[Q^\pi(s,a_t)z_t\mid s_t=s]=\mathbb E[A^\pi(s,a_t)z_t\mid s_t=s].}$$

对有限时域目标 $J(\theta)=\mathbb E[\sum_{t=0}^{T-1}\gamma^t R_t]$，保留相应的时间权重，可写成：

$$\nabla_\theta J(\theta)=\mathbb E\!\left[\sum_{t=0}^{T-1}\gamma^t A^{\pi_\theta}(s_t,a_t)\nabla_\theta\log\pi_\theta(a_t\mid s_t)\right].$$

这里沿用 REINFORCE 的参数独立奖励与环境假设；$\gamma=1$ 就是不折扣的有限回合形式。正、负 Advantage 给出提高或降低所采动作 log-prob 的激励；共享参数会耦合其他动作与状态，不能保证每个概率独立地按符号变化。[1]

5. 价值含义与估计误差#

5.1 预测误差与梯度偏差#

若固定 Critic 的误差为 $\varepsilon(s)=V_\phi(s)-V^\pi(s)$，则：

$$\mathbb E[\hat A_t\mid s_t=s,a_t=a]=A^\pi(s,a)-\varepsilon(s).$$

因此 $G_t-V_\phi(s_t)$ 一般不是真实 Advantage 的无偏估计。不过，用新采样的完整 on-policy return 构造策略梯度时，固定、动作无关的 $\varepsilon(s)$ 乘 score 的动作期望仍为零。Advantage 的采样估计有偏，不等于策略梯度一定有偏。

Actor 更新时固定 $\hat A_t$，不通过它反传；Critic 通过自己的价值回归目标学习。如果先用同一批样本拟合 Critic 再将预测值用于这批样本的 baseline，还需检查数据依赖。截断 return、bootstrap 和旧策略数据也不自动满足上面的无偏条件。[2]

5.2 更换估计方式的条件#

完整 return 减状态价值，是一种采样估计。Bootstrap 会引入价值预测，同题比较则使用组内统计；它们的偏差和信用分配取决于各自的计算方式。称为 advantage 的训练权重，未必都在估计精确的逐 token $A^\pi(s_t,a_t)$。

参考资料#

1. Policy Gradient Methods（1999）. 原文：策略梯度定理与价值函数。
2. Generalized Advantage Estimation（2015）. 原文：Return、价值参照与 Advantage 估计。