『大模型笔记』量化 vs 剪枝 vs 蒸馏:为推理优化神经网络!

量化 vs 剪枝 vs 蒸馏:为推理优化神经网络!

文章目录

  • 一. 量化 vs 剪枝 vs 蒸馏:为推理优化神经网络!
    • 1.1. 量化(Quantization)
    • 1.2. 剪枝(purning)
    • 1.3. 知识蒸馏(Knowledge Distillation,也称为模型蒸馏)
    • 1.4. 工程优化(Engineering Optimizations)
    • 1.5. 总结
  • 二. 参考文献

一. 量化 vs 剪枝 vs 蒸馏:为推理优化神经网络!

  • 大家好。今天的视频中,我会讲解如何 压缩和优化你的模型。假设你已经训练或微调了一个模型,现在你准备将它部署给大家使用。但是你发现延迟太高,需要让模型运行得更快。今天我将介绍四种加快模型速度的方法:量化、剪枝、知识蒸馏和工程优化

『大模型笔记』量化 vs 剪枝 vs 蒸馏:为推理优化神经网络!_第1张图片

1.1. 量化(Quantization)

  • 量化知识点参考我的文章:

你可能感兴趣的:(大模型笔记,剪枝,神经网络,大模型,量化,蒸馏,模型压缩)