模型压缩中的四大核心技术 —— 量化、剪枝、知识蒸馏和二值化

一、量化 (Quantization)

量化的目标在于将原始以 32 位浮点数表示的模型参数和中间激活，转换为低精度（如 FP16、INT8、甚至更低位宽）的数值表示，从而在减少模型存储占用和内存带宽的同时，加速推理运算，特别适用于移动、嵌入式和边缘计算场景。

1.1 概念与目标

• 基本思想
  将高精度数值离散化为低精度表示。例如，将 FP32 权重转换为 INT8，可降低内存需求约 4 倍，同时在支持低精度运算的硬件上加速计算。

• 主要目标

  • 压缩存储：降低模型文件大小、显存/内存占用
  • 加速计算：低精度运算单元（如 INT8 运算）通常速度更快
  • 降低能耗：适用于资源受限设备

1.2 数学模型与公式

假设原始权重 x∈Rx \in \mathbb{R}