EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

本次介绍一篇Google投稿与ICML 2019的工作：EfficientNet。
对网络进行缩放可以提升模型准确率，常见的方法有三种: 深度(#layers) \ 宽度(#channels) \ 输入分辨率。这三种缩放按照何种比例进行缩放能达到更好的效果尚未研究。作者三种缩放等比例进行缩放最佳，在提升精度的同时可以降低模型参数量。在ImageNet上的性能如图

方法

作者指出，三个可缩放的影响因素应该按照如下公式所示的比例进行缩放。满足$\alpha \ast {\beta }^2\ast {\gamma }^2\approx 2$是为了让总计算量按照$2^{\varphi }$倍增长.

除了上述缩放规律外， 作者还搜索了一种适合该方法的baseline 模型。在模型搜索时考虑了优化准确率和模型计算量。

模型训练

在训练过程作者用了几个最近新提出的trick，在刷竞赛涨点的时候值得关注。

总结

感谢作者的工作， 作者验证了对模型缩放，深度(#layers)\宽度(#channels)\输入分辨率`同时缩放效果最佳。在latency 的提升上十分显著，这一点在工业应用上十分友好。latency短了之后理论上来说模型收敛所花的时间应该也更短，不过具体还要测试之后才知道。