← 全部阅读路线

理解 Transformer 与架构变体

从完整 Transformer 出发，沿局部读取、位置表示与压缩注意力建立主线；按需要进入视觉架构、层间连接和专家路由分支。

6 个步骤

阅读起点

了解向量与矩阵乘法即可从 Transformer 开始。主线中的位置编码比较可按已有知识选读；分支无需按目录顺序全部读完。

推荐顺序

  1. Transformer：从 token 向量到下一词预测

    Transformer 每层接收和输出什么，怎样通过注意力完成翻译与下一词预测？

    Technique入门约 11 分钟

  2. SWA：滑动窗口注意力与跨层信息传递

    局部窗口怎样减少直接读取，又怎样通过多层传递窗口外的信息？

    Technique入门约 9 分钟

  3. 位置编码：绝对位置与相对位置

    绝对位置和相对位置怎样进入注意力计算？

    原理笔记入门约 18 分钟

  4. RoPE：旋转位置编码与相对位置

    如何让 query 与 key 的内积体现相对位置？

    原理笔记进阶约 4 分钟

  5. MLA：潜在表示压缩与解耦 RoPE

    如何用压缩表示减少 KV Cache，并处理 RoPE 与矩阵吸收的冲突？

    原理笔记进阶约 4 分钟

  6. 稀疏注意力：选择与压缩机制比较

    不同稀疏方案如何选择参与注意力计算的信息？

    原理笔记进阶约 19 分钟

进阶与分支

  1. CNN 与 ViT：图像表示与架构比较

    从 CNN 到 ViT，视觉信息的表示和归纳偏置怎样变化？

    原理笔记入门约 27 分钟

  2. 残差连接：Hyper-Connections 与 mHC

    残差路径从单路扩展到多路后，如何控制状态混合？

    原理笔记进阶约 10 分钟

  3. Looped Transformer：参数共享与重复计算

    共享参数的重复计算如何更新状态并增加计算深度？

    原理笔记进阶约 6 分钟

  4. MoE：专家选择与负载均衡

    如何为 token 选择专家，同时处理负载不均？

    原理笔记进阶约 4 分钟

  5. DeepSeek-V4：路由评分与残差连接

    路由的选择分数、混合权重与残差连接分别承担什么作用？

    原理笔记进阶约 3 分钟