【笔试面试】秒懂深度学习模型小型化:蒸馏法、剪枝…

蒸馏:主要思想是,通过大模型指导小模型学习

剪枝:网络剪枝的主要思想就是将权重矩阵中相对“不重要”的权值剔除,然后再重新fine tune网络进行微调。

紧凑模型设计

  • MobileNet深度可分离卷积
  • shufflenet逐点群卷积(pointwise group convolution)和通道混洗(channel shuffle),前者通过分组卷积降低计算量,后者促进信息在不同组之间流转

你可能感兴趣的:(轻量级神经网络,神经网络,深度学习,机器学习,数据挖掘)