← 全部阅读路线

理解低比特推理

从可表示的数值到输出误差，再理解缩放和旋转为何影响量化。

4 个步骤

阅读起点

了解矩阵乘法及模型的权重与激活。

推荐顺序

  1. 低比特数值格式

    有限的比特如何表示数值、动态范围和共享尺度？

    原理笔记入门约 6 分钟

  2. 模型推理量化

    将权重、激活或 KV 压到低比特时，误差从哪里来？

    原理笔记入门约 5 分钟

  3. AWQ

    为什么权重量化误差要结合激活来衡量？

    原理笔记进阶约 6 分钟

  4. QuaRot 与 SpinQuant

    浮点等价的旋转为什么可能改变低比特误差？

    原理笔记进阶约 6 分钟