Score Centering：采样与训练不一致时的漂移修正#

Bellman Policy Optimization（BPO，贝尔曼策略优化）从另一个问题出发：能否保留策略镜像下降的更新，又不为每个中间前缀训练 Critic？ 推导分为三步：（1）求出理想的新策略；（2）用整条回答的概率改写该策略；（3）对目标作近似。[3]

先求理想的新策略。 当前动作选为 $a$、之后按 $\mu$ 继续生成的平均奖励是 $Q^\mu(s,a)=\mathbb E_\mu[R(q,y)\mid s,a]$。状态价值是 $V^\mu(s)=\sum_a\mu(a\mid s)Q^\mu(s,a)$，优势为 $A^\mu(s,a)=Q^\mu(s,a)-V^\mu(s)$，因此 $\mathbb E_\mu[A^\mu\mid s]=0$。

Policy Mirror Descent（PMD，策略镜像下降）希望提高新策略的平均优势，同时限制它偏离采样策略。令 $\eta>0$ 控制更新强度，在每个状态求解：

$$\text{PMD 最优目标值}=\max_{\pi(\cdot\mid s)}\left\{ \sum_a\pi(a\mid s)A^\mu(s,a) -\frac1\eta D_{\mathrm{KL}}\big(\pi(\cdot\mid s)\Vert\mu(\cdot\mid s)\big) \right\},\qquad \sum_a\pi(a\mid s)=1.$$

固定 $s$，用拉格朗日乘子 $\lambda$ 处理概率和约束。对每个 $\pi(a)$ 求导，得到 $A^\mu(a)-\eta^{-1}[\log(\pi(a)/\mu(a))+1]+\lambda=0$。把与动作无关的常数并入归一化因子 $Z_\mu(s)$，该问题的最优策略记为 $\pi^\star$：

$$\pi^\star(a\mid s)=\frac{\mu(a\mid s)e^{\eta A^\mu(s,a)}}{Z_\mu(s)},\qquad Z_\mu(s)=\sum_v\mu(v\mid s)e^{\eta A^\mu(s,v)}.$$

也就是在原概率上乘一个优势决定的倍数，再归一化：高优势动作的倍数更大。困难仍在于，每个前缀都需要 $A^\mu(s,a)$。

再把中间优势换成终局奖励。 对上式取 log，得 $\log(\pi^\star/\mu)=\eta A^\mu-\log Z_\mu$。按 $\mu$ 对动作求平均，左侧是 $-D_{\mathrm{KL}}(\mu\Vert\pi^\star)$，优势均值为零，于是 $\log Z_\mu=D_{\mathrm{KL}}(\mu\Vert\pi^\star)$。代回可得：

$$\eta A^\mu(s,a) =\log\frac{\pi^\star(a\mid s)}{\mu(a\mid s)} +D_{\mathrm{KL}}\big(\mu(\cdot\mid s)\Vert\pi^\star(\cdot\mid s)\big).$$

注意两个 KL 的方向不同：PMD 目标里是新策略相对 $\mu$；这里是对最优策略关系取 $\mu$ 期望后出现的反方向 KL。

沿用本页的终局奖励设定，考虑一条完整终止的自回归回答。生成 token 后只是把它接到前缀上，因此 $Q^\mu(s_t,a_t)=V^\mu(s_{t+1})$。初始前缀只有问题，其价值简写为 $V^\mu(q)$；约定终止状态的价值就是已得到的 $R(q,y)$。相邻价值相减后沿轨迹相消：

$$\begin{aligned} \sum_{t=1}^{T}A^\mu(s_t,a_t) &=\sum_{t=1}^{T}\big[V^\mu(s_{t+1})-V^\mu(s_t)\big]\\ &=R(q,y)-V^\mu(q). \end{aligned}$$

把上一条最优策略关系也沿轨迹求和，便能用终局奖励减问题价值，替代所有中间优势。对待训练策略 $\pi_\theta$，将上述等式两侧的差定义为轨迹残差：

$$d_\theta(q,y)=\eta\big[R(q,y)-V^\mu(q)\big] -\sum_{t=1}^{T}\left[ \log\frac{\pi_\theta(a_t\mid s_t)}{\mu(a_t\mid s_t)} +D_{\mathrm{KL}}\big(\mu(\cdot\mid s_t)\Vert\pi_\theta(\cdot\mid s_t)\big) \right].$$

理想策略 $\pi^\star$ 让每条轨迹的残差都为零，因此可以最小化 $L_{\mathrm{BPO,exact}}=\mathbb E_{y\sim\mu(\cdot\mid q)}[d_\theta(q,y)^2/(2\eta)]$，其中 $y\sim\mu(\cdot\mid q)$ 表示从问题 $q$ 出发，逐 token 按 $\mu$ 生成整条回答。这个目标只需要终局奖励和初始问题价值，不再显式需要中间前缀的 Critic。

在有界、完整终止且支持集相容的策略空间中，这个平方目标与原 PMD 有相同的最优完成分布；这是目标最优解的关系，不代表有限神经网络训练一定能达到它。[3]

全词表 KL 的梯度与中心化 score。 固定 $\mu$，全词表 KL 的导数为：

$$\nabla_\theta D_{\mathrm{KL}}(\mu\Vert\pi_\theta) =-\sum_v\mu(v\mid s)\nabla_\theta\log\pi_\theta(v\mid s) =-\bar z_\mu(s).$$

因此，残差里每个 token 的 $\log\pi_\theta+\mathrm{KL}$ 对参数的导数，正好是 $z-\bar z_\mu$。对单条回答的平方残差求导，得到精确的上升方向：

$$-\nabla_\theta\frac{d_\theta^2}{2\eta} =\frac{d_\theta}{\eta}\sum_{t=1}^{T}\big[z(a_t,s_t)-\bar z_\mu(s_t)\big].$$

它已经包含中心化 score，但每条回答的权重还是随参数变化的 $d_\theta/\eta$。BPO 接着在策略空间的 $\pi=\mu$ 处，对平方残差作一阶近似。此处 log-ratio 和 KL 都为零，把该参照策略处的残差记为 $d_\mu=\eta[R(q,y)-V^\mu(q)]$；它与待训练策略处的 $d_\theta$ 区分。展开平方项：

$$\text{单回答平方残差损失}=\frac{d_\theta^2}{2\eta} =\frac{d_\mu^2}{2\eta}+\frac{d_\mu}{\eta}(d_\theta-d_\mu) +\frac{(d_\theta-d_\mu)^2}{2\eta}.$$

舍去最后的二次项，相当于把梯度中的 $d_\theta/\eta$ 固定为 $R(q,y)-V^\mu(q)$。再用组内奖励均值估计问题价值，并按奖励标准差缩放。记同题第 $i$ 条完整回答为 $y_i$，奖励为 $R_i=R(q,y_i)$，得到回答权重 $\hat A_i=(R_i-\operatorname{mean}_j R_j)/\operatorname{std}_j R_j$，其中 $j$ 遍历同组回答；这里讨论标准差非零的组。$\hat A_i$ 在本次 Actor 反传中固定。这些采样估计与归一化是额外步骤，不是前面精确恒等式的一部分。

到这一步，保留全词表 KL 的单 token surrogate loss 为：

$$L_{\mathrm{BPO,full}}=-\operatorname{sg}(\hat A_i) \left[\log\pi_\theta(a_t\mid s_t)+D_{\mathrm{KL}}\big(\mu(\cdot\mid s_t)\Vert\pi_\theta(\cdot\mid s_t)\big)\right].$$

这里 $\operatorname{sg}$ 是 stop-gradient（停止梯度）：保留前向数值，反传时将它当作常数。因此，$-\nabla_\theta L_{\mathrm{BPO,full}}=\hat A_i[z(a_t,s_t)-\bar z_\mu(s_t)]$。

BPO 与 SC 的联系来自全词表 KL 的导数：该导数为平均 score 的负值。 使用相同采样策略和固定权重时，两者的 token 梯度一致。BPO 实用版还会把全词表 KL 换成二元近似，随后平滑、屏蔽和限制权重；这些步骤会改变更新，完整 SC 与二元近似需要分别分析。

减去 baseline 后期望梯度不变的证明包含两步：（1）利用 baseline 与动作无关，将它提出期望；（2）利用 score 均值为零，使 baseline 对应的项为零。 对一个仅依赖前缀、更新时固定的标量 $b(s)$，有：

$$\mathbb E_{a\sim\mu(\cdot\mid s)}\big[b(s)z(a,s)\big] =b(s)\,\mathbb E_{a\sim\mu(\cdot\mid s)}[z(a,s)] =b(s)\bar z_\mu(s).$$

Baseline 页按 $\pi_\theta$ 采样，也对 $\pi_\theta$ 求 score，所以平均 score 为零。这里按 $\mu$ 采样，score 却来自 $\pi_\theta$，$\bar z_\mu(s)$ 可能非零。因此，即使 $b(s)$ 与动作无关，减去它仍可能改变原更新的期望。[1]

需要比较两种期望更新：（1）从奖励中减去采样器的精确状态价值；（2）从 score 中减去采样器分布下的均值。该比较说明何时可以用后一种方式替代显式的价值估计。

采样策略在当前前缀下的真实价值是 $V^\mu(s)=\mathbb E_\mu[R(q,y)\mid s]$。如果能准确知道它，减去这个 baseline，便有：

$$\begin{aligned} \mathbb E_\mu\big[(R(q,y)-V^\mu(s))z(a,s)\mid s\big] &=\mathbb E_\mu\big[R(q,y)z(a,s)\mid s\big]-V^\mu(s)\bar z_\mu(s)\\ &=\mathbb E_\mu\big[R(q,y)z(a,s)\mid s\big]-\mathbb E_\mu\big[R(q,y)\mid s\big]\bar z_\mu(s)\\ &=\mathbb E_\mu\Big[R(q,y)\big(z(a,s)-\bar z_\mu(s)\big)\mid s\Big]. \end{aligned}$$

减精确的采样器 value，与减采样器的平均 score，得到相同的期望更新。 前者需要知道后续奖励的期望，后者需要当前前缀下的采样器动作分布。它们每个样本的梯度及方差可以不同。[1]

这里“精确”指的是奖励期望算得准确，不意味着它是梯度方差最小的 baseline；后一个问题仍由 Baseline 页的加权最优值回答。

展开 baseline 后，需要减去 $V^\mu(s)\bar z_\mu(s)$。从每条样本的 score 中减去 $\bar z_\mu(s)$，再乘奖励并求期望，同样会减去 $\mathbb E_\mu[R(q,y)\mid s]\bar z_\mu(s)$。奖励的条件期望就是 $V^\mu(s)$，因此无需单独估计 value。

这里也能看出与 on-policy Baseline 的区别：当 $\mu\ne\pi_\theta$ 时，减 baseline 一般会改变原更新的均值。SC 正是在主动去掉其中的漂移，并非只做方差约减。

中心化之后，因为 $\mathbb E_\mu[z-\bar z_\mu(s)\mid s]=0$，减去任意更新时固定、与当前动作无关的 $b(s)$，也不会改变期望更新。这恢复了 baseline 不改变期望更新的性质；自包含的有限组均值是否满足动作独立条件，仍需另行判断。

训练器的梯度可通过自动微分计算；采样器则可能经过量化或其他不可直接反传的计算。Straight-Through Estimator（STE，直通估计器）的思路是：前向使用一种数值，反向指定另一条可计算的梯度路径。 该构造可以得到 SC 的中心化 score。[4]

把训练器输出的 logits 向量记为 $u_\theta$，于是 $\pi_\theta=\operatorname{softmax}(u_\theta)$。用 $e_a$ 表示动作 $a$ 的 one-hot 向量，即第 $a$ 项为 $1$、其余为 $0$。logits 对参数的导数直接写作 $\partial u_\theta/\partial\theta$。对第 $v$ 个 logit 求导：

$$\frac{\partial\log\pi_\theta(a)}{\partial u_\theta(v)} =\frac{\partial}{\partial u_\theta(v)}\left[u_\theta(a)-\log\sum_b e^{u_\theta(b)}\right] =\mathbf1\{v=a\}-\pi_\theta(v).$$

所以普通 score 是 $z(a)=\left(\frac{\partial u_\theta}{\partial\theta}\right)^{\!\top}(e_a-\pi_\theta)$。按 $\mu$ 求平均，one-hot 向量的均值就是 $\mu$，得到 $\bar z_\mu=\left(\frac{\partial u_\theta}{\partial\theta}\right)^{\!\top}(\mu-\pi_\theta)$。相减后：

$$z(a)-\bar z_\mu=\left(\frac{\partial u_\theta}{\partial\theta}\right)^{\!\top}\big[(e_a-\pi_\theta)-(\mu-\pi_\theta)\big] =\left(\frac{\partial u_\theta}{\partial\theta}\right)^{\!\top}(e_a-\mu).$$

这给出如下梯度解释：log 概率梯度中，原来减的是训练器概率，现在减的是实际采样器概率；从 logits 到参数的传递仍沿训练器进行。

假设采样器每个动作的概率都为正，取固定 logits $u_\mu$，其每个分量为 $u_\mu(v)=\log\mu(v)$，因此 $\operatorname{softmax}(u_\mu)=\mu$。构造新的 logits：

$$u_\theta^{\mathrm{STE}}=u_\theta+\operatorname{sg}(u_\mu-u_\theta).$$

前向计算中，两个 $u_\theta$ 抵消，结果是 $u_\mu$；反向计算中，停止梯度的括号不贡献导数，只留下 $\partial u_\theta/\partial\theta$。

接着对 log-softmax 反传，它在前向概率 $\mu$ 处的导数是 $e_a-\mu$。于是按这条计算图得到：

$$\nabla_\theta^{\mathrm{STE}}\log\operatorname{softmax}(u_\theta^{\mathrm{STE}})_a =\left(\frac{\partial u_\theta}{\partial\theta}\right)^{\!\top}(e_a-\mu)=z(a)-\bar z_\mu.$$

乘上固定奖励 $R(q,y)$，就得到 SC 的逐样本方向。上标 STE 强调这是指定反传规则后的梯度：若直接把前向结果写成固定函数 $\log\mu(a)$，再普通求导，结果应该是零。它也没有对实际量化或陈旧采样器进行精确求导。

还要区分“当前差值”和“固定旧差值”。 上面的差值 $u_\mu-u_\theta$ 每次随当前参数重算，因此每次反传都得到当前的 SC。另一种做法是在更新起点 $\theta_0$ 只算一次偏移 $u_\mu-u_{\theta_0}$，随后固定它：

$$\pi_\theta^{\mathrm{local}}=\operatorname{softmax}\big(u_\theta+u_\mu-u_{\theta_0}\big).$$

起点有 $\pi_{\theta_0}^{\mathrm{local}}=\mu$，普通求导便得到 $\left(\frac{\partial u_\theta}{\partial\theta}\right)_{\theta=\theta_0}^{\!\top}(e_a-\mu)$。离开起点后，概率会变成 $\pi_\theta^{\mathrm{local}}$，导数也变成 $\left(\frac{\partial u_\theta}{\partial\theta}\right)^{\!\top}(e_a-\pi_\theta^{\mathrm{local}})$，不再始终等于按固定 $\mu$ 中心化的 score。

STE 指定了一条反传规则。现在进一步问：不改反传规则，能否构造一个满足归一化约束的概率分布，让它在起点的 score 就是 SC？

记更新起点为 $\theta_0$，当前参数为 $\theta$，并固定采样分布 $\mu$。训练器相对起点的概率变化倍数是 $\pi_\theta(a)/\pi_{\theta_0}(a)$。把这个倍数施加到原采样概率上，再归一化，定义局部策略：

$$\pi_\theta^{\mathrm{local}}(a)= \frac{\mu(a)\,\pi_\theta(a)/\pi_{\theta_0}(a)} {\sum_v\mu(v)\,\pi_\theta(v)/\pi_{\theta_0}(v)}.$$

每个 $\theta$ 对应一个合法分布，这一组分布就是“分布族”。在更新起点 $\theta=\theta_0$，所有倍数都为 $1$，因此 $\pi_{\theta_0}^{\mathrm{local}}=\mu$。局部策略在起点等于采样策略；离开起点后，其动作概率由固定的 $\mu$ 乘以训练器相对起点的概率比，再归一化得到。

先计算分母的 log 导数。起点处分母为 $1$，采样器概率与旧训练器概率固定，只有当前训练器概率变化，因此：

$$\begin{aligned} \left.\nabla_\theta\log\sum_v\mu(v)\frac{\pi_\theta(v)}{\pi_{\theta_0}(v)}\right|_{\theta=\theta_0} &=\sum_v\frac{\mu(v)}{\pi_{\theta_0}(v)}\left.\nabla_\theta\pi_\theta(v)\right|_{\theta=\theta_0}\\ &=\left.\sum_v\mu(v)z(v)\right|_{\theta=\theta_0} =\left.\bar z_\mu\right|_{\theta=\theta_0}. \end{aligned}$$

再对局部策略的 log 求导。分子的 $\log\mu(a)$ 和 $\log\pi_{\theta_0}(a)$ 固定，$\log\pi_\theta(a)$ 的导数是 $z(a)$；减去上面算出的分母 log 导数，得到：

$$\left.\nabla_\theta\log\pi_\theta^{\mathrm{local}}(a)\right|_{\theta=\theta_0} =\left.\big[z(a)-\bar z_\mu\big]\right|_{\theta=\theta_0}.$$

平均 score 在这里来自归一化因子的导数。 局部策略先对采样器概率乘以训练器概率比，再归一化。归一化因子的 log 导数正是需要减去的平均 score。

有了合法分布，还可以定义普通的局部奖励目标。动作价值 $Q^\mu(s,a)=\mathbb E_\mu[R(q,y)\mid s,a]$ 表示选定当前动作后、按 $\mu$ 继续生成的平均奖励。固定这个动作价值，只改变当前动作分布：

$$J_{\mathrm{local}}(\theta)=\sum_a\pi_\theta^{\mathrm{local}}(a\mid s)Q^\mu(s,a).$$

这里 $J_{\mathrm{local}}$ 是要最大化的平均奖励；前面各个 $L$ 是要最小化的 loss。它在起点的梯度为：

$$\begin{aligned} \left.\nabla_\theta J_{\mathrm{local}}(\theta)\right|_{\theta=\theta_0} &=\left.\sum_a\mu(a)Q^\mu(s,a)\nabla_\theta\log\pi_\theta^{\mathrm{local}}(a\mid s)\right|_{\theta=\theta_0}\\ &=\left.\mathbb E_{a\sim\mu}\Big[Q^\mu(s,a)\big(z(a,s)-\bar z_\mu(s)\big)\Big]\right|_{\theta=\theta_0}\\ &=\left.\mathbb E_\mu\Big[R(q,y)\big(z(a,s)-\bar z_\mu(s)\big)\mid s\Big]\right|_{\theta=\theta_0}. \end{aligned}$$

最后一步先对给定动作的后续奖励求期望，用到了 $Q^\mu(s,a)=\mathbb E_\mu[R(q,y)\mid s,a]$。这说明 SC 确实可以是这个构造目标在起点的真实梯度，不需要 STE。

局部分布族与固定 logits 偏移构造得到同一分布。代入 softmax 后，概率比里与动作无关的常数被归一化消去，得到 $\pi_\theta^{\mathrm{local}}=\operatorname{softmax}(u_\theta+u_\mu-u_{\theta_0})$。两种构造因此得到同一个局部策略。

离开起点后，$\pi_\theta^{\mathrm{local}}$ 会变化，完整目标梯度应按它加权；归一化导数也改为这个局部策略下的平均 score。固定 $\mu$ 的 SC 仍按 $\mu$ 加权并中心化，所以这里只得到起点的一致性，不能把整个 SC 训练直接称为这个局部目标的精确优化。

漂移分解已经算出 $0.52-0.36=0.16$。另外四条推导也能在这一个例子中直接核对。

1. BPO 的全词表 surrogate。 为了只检查中心化这一步，本例先用精确的问题价值，不估计或除以标准差。一步任务中，$V^\mu(q)=1.8$，两个回答的固定优势分别是 $0.2$ 和 $-0.8$。它们乘上中心化 score，得到的期望方向为 $\text{BPO surrogate 的期望上升方向}=0.8\times0.2\times0.2+0.2\times(-0.8)\times(-0.8)=0.16$。这里核对的是近似后的 surrogate，不是完整平方残差目标。

2. 精确 value baseline。 从奖励减去 $1.8$，再乘原 score，得到 $\text{value baseline 的期望更新方向}=0.8\times0.2\times0.4+0.2\times(-0.8)\times(-0.6)=0.16$。虽然期望相同，单条样本的方向不同：SC 的两个方向是 $0.4$、$-0.8$，value baseline 的两个方向却是 $0.08$、$0.48$。

3. STE。 取训练器 logits 为 $u_\theta=(\theta,0)$，采样器 logits 可取 $u_\mu=(\log4,0)$。前向替换后，第一动作的概率是 $4/(4+1)=0.8$；反向只经过训练器的第一个 logit，两个 log 概率的导数便是 $1-0.8=0.2$ 和 $-0.8$。它们正好是表中的中心化 score，乘奖励后仍得到 $0.16$。

4. 局部分布族。 对本例的 Bernoulli 策略，参数从 $\theta_0$ 变到 $\theta$，会把概率比 $p/(1-p)$ 乘上 $e^{\theta-\theta_0}$。施加到采样器后，局部策略满足 $\pi_\theta^{\mathrm{local}}(\text{甲})/\pi_\theta^{\mathrm{local}}(\text{乙})=4e^{\theta-\theta_0}$，所以 $\pi_\theta^{\mathrm{local}}(\text{甲})=\sigma(\log4+\theta-\theta_0)$。它的平均奖励是 $J_{\mathrm{local}}(\theta)=1+\pi_\theta^{\mathrm{local}}(\text{甲})$，在起点的导数便是 $J'_{\mathrm{local}}(\theta_0)=0.8\times0.2=0.16$。

五条路线在这个例子中都得到 $0.16$，但含义不同：漂移和 baseline 比较期望更新，BPO 比较近似后的梯度，STE 比较计算图的反传方向，局部分布族比较起点处的真实目标梯度。

完整 KL 要用词表中所有动作的概率。BPO 实用版把动作分成“采中的 $a$”和“其余动作”，只保留这两个概率。记 $\mu_a=\mu(a\mid s)$、$\pi_a=\pi_\theta(a\mid s)$，对应的二元 KL 是：

$$D_{\mathrm{KL}}^{\mathrm{bin}}(\mu\Vert\pi_\theta;a) =\mu_a\log\frac{\mu_a}{\pi_a}+(1-\mu_a)\log\frac{1-\mu_a}{1-\pi_a}.$$

对 $\log\pi_a+D_{\mathrm{KL}}^{\mathrm{bin}}$ 先按标量 $\pi_a$ 求导，再乘 $\nabla_\theta\pi_a=\pi_a z(a)$，可得：

$$\begin{aligned} \nabla_\theta\big[\log\pi_a+D_{\mathrm{KL}}^{\mathrm{bin}}\big] &=\left[\frac1{\pi_a}-\frac{\mu_a}{\pi_a}+\frac{1-\mu_a}{1-\pi_a}\right]\pi_a z(a)\\ &=\frac{1-\mu_a}{1-\pi_a}z(a). \end{aligned}$$

因此，二元近似给出的是 $\hat A_i\frac{1-\mu_a}{1-\pi_a}z(a)$：它对原 score 乘一个标量；完整 SC 则减去一个向量。词表只有两个动作时，两者相同；多于两个动作时，一般不相同。BPO 还会平滑这个比值、按优势方向屏蔽部分更新，并限制其上限。[3]

用一个独立的三动作例子就能看出差异。令 logits 独立可训练，$\pi_\theta=(0.2,0.3,0.5)$、$\mu=(0.5,0.2,0.3)$，采中第一个动作，固定权重为 $0.4$。完整 SC 给出 $\text{完整 SC 的单样本方向}=0.4(e_1-\mu)=(0.2,-0.08,-0.12)$；二元近似给出 $\text{二元近似的单样本方向}=0.4\times\frac{0.5}{0.8}(e_1-\pi_\theta)=(0.2,-0.075,-0.125)$。采中动作的分量相同，对其余动作怎样分配变化却不同。

五条推导围绕同一个中心化向量，比较的对象却不同：

这些联系解释了同一个修正为何会反复出现，也说明了为什么不能直接把五种说法当成五个全局等价的训练算法。

SC 与 BPO 的全词表 surrogate 的对应关系可由以下恒等式得到：$\log\pi_\theta(a)+D_{\mathrm{KL}}(\mu\Vert\pi_\theta)=\log\pi_\theta(a)-\sum_v\mu(v)\log\pi_\theta(v)+\sum_v\mu(v)\log\mu(v)$。最后一项与训练器参数无关；使用相同固定权重时，两个 loss 只差一个常数。

STE loss 的前向值则是 $-\operatorname{sg}(R(q,y))\log\mu(a)$，通常与上述 SC loss 不相同。它们相同的是指定反传规则后的梯度，而非 loss 数值。