DeepSeek-V4：路由评分与残差连接#

这篇笔记讨论 router 的打分尺度与残差连接。架构事实以 DeepSeek-V4 技术报告 为准；下面对函数的比较是数学分析，不能单独解释整个模型的性能变化。

1. Router：选择分数与混合权重分开看#

对隐藏态 $h_t$ 和可学习的专家向量 $e_i$，先计算

$$z_{i,t}=h_t^\top e_i,\qquad s_{i,t}=\phi(z_{i,t}).$$

V3 使用 sigmoid；V4 使用 $\sqrt{\operatorname{softplus}(z)}=\sqrt{\log(1+e^z)}$。Router 还包括负载均衡 bias、候选专家限制、hash routing 等机制。以带校正 bias 的路由为例：

$$\mathcal I_t=\operatorname{TopK}_i(s_{i,t}+b_i),\qquad g_{i,t}=\alpha\frac{s_{i,t}}{\sum_{j\in\mathcal I_t}s_{j,t}} \quad(i\in\mathcal I_t).$$

$b_i$ 用于选择，混合权重仍由未加 bias 的 $s_i$ 归一化得到；$\alpha$ 是 routed scaling factor。这个表达式不描述 hash-routed 层。V4-Pro 的公开配置为 384 个 routed experts、每 token 激活 6 个，另有 shared expert；不能套用 V3 的“256 选 8”。

2. 更换单调函数，不会自动改变 top-K 排名#

两个函数都严格单调递增。因此，对同一组 logits，若不加入专家相关 bias 或其他选择约束，二者的 top-K 集合相同（忽略有限精度并列）。函数变化会影响相对尺度、归一化权重及梯度；加入 $b_i$ 后，尺度与 bias 的相互作用才可能改变选择。

正数端：

$$\sigma(z)\to1,\qquad \sqrt{\log(1+e^z)}\sim\sqrt z \quad(z\to+\infty).$$

后者没有输出上界，但不能据此说路由必然更“尖锐”，需要比较具体 logits 下归一化后的权重。

负数端：

$$\sigma(z)\sim e^z,\qquad \sqrt{\log(1+e^z)}\sim e^{z/2} \quad(z\to-\infty).$$

所以 sqrt-softplus 衰减得更慢，不是更强地抑制负 logits。例如 $z=-10$ 时，两者约为 $4.54\times10^{-5}$ 和 $6.74\times10^{-3}$。专家输出的硬稀疏性来自 top-K mask，而非这两个始终为正的函数。

3. Hyper-Connections：扩展残差路径#

Hyper-Connections 扩展残差流及其混合方式；V4 使用的 mHC 进一步约束连接映射，以控制多层传播的稳定性。它不能简化成“Pre-Norm 必坍缩，Post-Norm 必消失”。具体映射与约束见 mHC 笔记。

相关资料：DeepSeek-V3、On Layer Normalization in the Transformer Architecture。

延伸阅读#

• 稀疏注意力：选择与压缩机制比较：不同稀疏方案如何选择参与注意力计算的信息？