← 全部阅读路线

理解 MoE 的系统执行

把专家路由、并行切分、通信与矩阵计算连接起来。

5 个步骤

阅读起点

了解 Transformer 和普通矩阵乘法。

推荐顺序

  1. MoE：专家选择与负载均衡

    如何为 token 选择专家，同时处理负载不均？

    原理笔记进阶约 4 分钟

  2. 分布式训练基础

    多张 GPU 分别承担哪些数据、参数和计算？

    原理笔记入门约 6 分钟

  3. Megatron-LM 并行策略

    TP、SP、PP、DP、CP、EP、ETP 分别切分什么，怎样组合？

    原理笔记进阶约 7 分钟

  4. DeepEP

    MoE 专家并行如何完成 token 的 dispatch 与 combine？

    实现解析进阶约 4 分钟

  5. Grouped GEMM

    怎样把大小不同的专家矩阵乘法组织成 GPU 工作？

    实现解析进阶约 4 分钟