← 全部专题

推理与量化

理解 KV Cache、解码与低比特数值，分析生成过程中的显存和计算成本。

7 篇笔记

从哪里开始

从 KV Cache 或低比特数值格式进入；量化主线按基础、AWQ、旋转量化推进。

聚焦推理中的执行和数值近似。MLA 的参数化见模型架构，FlashAttention 的执行机制见训练系统。

KV Cache 与解码

  1. KV Cache

    自回归生成中哪些计算可以缓存，显存代价如何估算？

    原理笔记入门约 5 分钟

  2. 自回归解码策略

    logits 怎样经过调整、筛选和采样变成下一个 token？

    原理笔记入门约 6 分钟

  3. 推理优化与部署速查

    部署时怎样区分延迟、吞吐和显存问题？

    速查实践约 2 分钟

低比特数值与量化基础

  1. 低比特数值格式

    有限的比特如何表示数值、动态范围和共享尺度？

    原理笔记入门约 6 分钟

  2. 模型推理量化

    将权重、激活或 KV 压到低比特时，误差从哪里来？

    原理笔记入门约 5 分钟

量化方法

  1. AWQ

    为什么权重量化误差要结合激活来衡量？

    原理笔记进阶约 6 分钟

  2. QuaRot 与 SpinQuant

    浮点等价的旋转为什么可能改变低比特误差？

    原理笔记进阶约 6 分钟

推荐阅读路线

跨专题延伸

  • 模型架构 ↗

    从整体架构、位置编码与注意力，到层间连接和专家路由，理解模型的信息流与计算结构。

  • 训练系统与 Kernel ↗

    把训练计算映射到 GPU 和分布式系统，理解数据布局、通信与性能边界。

  • 应用与 Agent ↗

    用工具调用、检索和结构化输出组织模型工作流程，并保留应用评测记录。