← 全部专题

生成模型

理解表示压缩、扩散与 Flow Matching，并连接到图像和视频生成。

15 篇笔记

从哪里开始

从 VAE 和 DDPM 入门；已有扩散基础时，可直接进入 Flow Matching 或 DiT。

聚焦生成目标、条件控制与采样机制。通用优化与训练诊断见训练专题。

表示与压缩

  1. VAE 与隐空间表示

    怎样学习能用于生成的连续或离散隐空间？

    原理笔记入门约 17 分钟

  2. 视觉损失与评估指标

    训练时优化的损失和生成后使用的评估指标如何区分？

    速查进阶约 23 分钟

扩散与 Flow Matching

  1. DDPM 与 DDIM

    如何通过加噪训练得到逐步生成样本的模型？

    原理笔记入门约 25 分钟

  2. Score-based SDE

    Score、去噪预测与连续时间生成之间有什么联系？

    原理笔记进阶约 9 分钟

  3. Flow Matching

    如何用可采样的条件路径学习用于生成的向量场？

    原理笔记进阶约 22 分钟

条件生成

  1. 条件生成与 Guidance

    条件信息怎样改变去噪方向，guidance scale 又控制什么？

    原理笔记进阶约 11 分钟

  2. 文本编码与条件注入

    文本向量怎样进入图像生成网络？

    原理笔记进阶约 8 分钟

  3. Stable Diffusion 的完整流程

    文本、隐变量和去噪模型怎样组成一次生成流程？

    阅读导览进阶约 21 分钟

  4. ControlNet

    如何给预训练生成模型加入空间条件？

    原理笔记进阶约 2 分钟

采样与蒸馏

  1. 采样器与 ODE Solver

    生成时怎样在求解误差和模型调用成本之间取舍？

    原理笔记进阶约 30 分钟

  2. 扩散模型蒸馏

    减少采样步数和减少每步前向次数分别需要什么方法？

    原理笔记进阶约 5 分钟

图像与视频架构

  1. DiT 架构与条件调制

    Transformer 怎样成为扩散模型中的去噪网络？

    原理笔记进阶约 21 分钟

  2. SD3 与 FLUX 架构案例

    DiT 的条件交互如何在具体图像模型中展开？

    原理笔记进阶约 13 分钟

  3. 视频生成的表示与注意力

    时间维度给压缩、注意力和计算成本增加了哪些约束？

    原理笔记进阶约 10 分钟

生成训练实践

  1. 扩散与视频模型训练实践

    生成模型训练中哪些目标、采样和显存设置需要一起检查？

    实践指南实践约 6 分钟

推荐阅读路线

跨专题延伸

  • 模型架构 ↗

    从整体架构、位置编码与注意力，到层间连接和专家路由，理解模型的信息流与计算结构。

  • 训练与优化 ↗

    从训练目标和优化器到学习率、微调与诊断，理解参数怎样被稳定更新。