模型架构
从整体架构、位置编码与注意力，到层间连接和专家路由，理解模型的信息流与计算结构。
从哪里开始
先读 Transformer，理解层的输入输出、注意力与预测。随后可用 SWA 理解局部读取，沿位置编码、RoPE、MLA 理解位置与缓存压缩，再比较稀疏注意力。CNN 与 ViT、残差与循环结构、专家路由是按问题选择的阅读分支。
本专题解释模型如何表示信息、连接各层并组织计算。KV Cache 的执行与解码见推理专题；并行、通信与 Kernel 实现见训练系统；DiT 和条件生成见生成模型。
整体架构
输入怎样变成模型表示，各层怎样组成完整网络；分别理解文本序列与图像输入。
-
Transformer：从 token 向量到下一词预测
Transformer 每层接收和输出什么，怎样通过注意力完成翻译与下一词预测？
-
CNN 与 ViT：图像表示与架构比较
从 CNN 到 ViT，视觉信息的表示和归纳偏置怎样变化？
位置编码
注意力怎样区分位置，以及绝对位置、相对位置与旋转表示之间的关系。
-
位置编码：绝对位置与相对位置
绝对位置和相对位置怎样进入注意力计算？
-
RoPE：旋转位置编码与相对位置
如何让 query 与 key 的内积体现相对位置？
注意力机制
每个位置读取哪些信息，怎样通过局部窗口、选择或压缩改变注意力计算。
-
SWA：滑动窗口注意力与跨层信息传递
局部窗口怎样减少直接读取，又怎样通过多层传递窗口外的信息？
-
MLA：潜在表示压缩与解耦 RoPE
如何用压缩表示减少 KV Cache，并处理 RoPE 与矩阵吸收的冲突？
-
稀疏注意力：选择与压缩机制比较
不同稀疏方案如何选择参与注意力计算的信息？
层间连接与计算深度
隐藏向量怎样跨层传递，以及残差连接、参数共享与重复计算分别改变什么。
-
残差连接：Hyper-Connections 与 mHC
残差路径从单路扩展到多路后，如何控制状态混合？
-
Looped Transformer：参数共享与重复计算
共享参数的重复计算如何更新状态并增加计算深度？
专家与路由
token 怎样选择前馈专家，怎样分配混合权重，并结合模型案例分析路由与连接。
-
MoE：专家选择与负载均衡
如何为 token 选择专家，同时处理负载不均？
-
DeepSeek-V4：路由评分与残差连接
路由的选择分数、混合权重与残差连接分别承担什么作用？
推荐阅读路线
-
理解 Transformer 与架构变体
从完整 Transformer 出发，沿局部读取、位置表示与压缩注意力建立主线；按需要进入视觉架构、层间连接和专家路由分支。