← 全部专题

训练系统与 Kernel

把训练计算映射到 GPU 和分布式系统，理解数据布局、通信与性能边界。

11 篇笔记

从哪里开始

先建立分布式训练概念，再按并行策略、MoE 通信或 GPU Kernel 选择分支。

聚焦计算执行、数值实现和运行环境。算法定义引用模型架构或训练与优化专题。

并行与通信

  1. 分布式训练基础

    多张 GPU 分别承担哪些数据、参数和计算？

    原理笔记入门约 6 分钟

  2. Megatron-LM 并行策略

    TP、SP、PP、DP、CP、EP、ETP 分别切分什么，怎样组合？

    原理笔记进阶约 7 分钟

  3. DeepEP

    MoE 专家并行如何完成 token 的 dispatch 与 combine？

    实现解析进阶约 4 分钟

序列与数据布局

  1. Packed Sequence 与上下文并行

    打包序列在 CP 中如何切分，同时保留序列边界？

    实现解析实践约 10 分钟

  2. Activation Checkpointing

    怎样通过重新计算减少训练中保存的激活？

    实现解析实践约 3 分钟

GPU Kernel 与数值实现

  1. Triton Kernel 实现练习

    怎样从逐元素计算走到归约、矩阵乘法和 Attention？

    实现解析实践约 5 分钟

  2. Attention 复杂度与 FlashAttention

    Attention 的计算与访存瓶颈分别是什么？

    实现解析进阶约 4 分钟

  3. Grouped GEMM

    怎样把大小不同的专家矩阵乘法组织成 GPU 工作？

    实现解析进阶约 4 分钟

  4. Gram Newton–Schulz

    如何重排 Muon 的矩阵计算，并控制有限精度误差？

    实现解析进阶约 8 分钟

  5. Kernel 数值等价的统计验证

    迁移 kernel 时，怎样检查误差的方向、量级与累积风险？

    研究记录研究方法与局部证据约 12 分钟

环境与性能排障

  1. mHC 与 TE 在 H200 上的环境排障

    在记录的 DSW 环境中，怎样配置并验证一次可运行训练？

    实践指南实践特定环境记录约 7 分钟

推荐阅读路线

跨专题延伸

  • 模型架构 ↗

    从整体架构、位置编码与注意力，到层间连接和专家路由，理解模型的信息流与计算结构。

  • 训练与优化 ↗

    从训练目标和优化器到学习率、微调与诊断，理解参数怎样被稳定更新。

  • 推理与量化 ↗

    理解 KV Cache、解码与低比特数值，分析生成过程中的显存和计算成本。