深度学习中FLOPs计算

深度学习中FLOPs计算

定义：FLOPs（floating point operations），即浮点数运算次数，是一个计算量，所以可以用来衡量一个算法/模型等的复杂度

FLOPs是用来计算整个网络模型中乘法/加法的运行次数，是衡量算法的间接指标。下面通过卷积的例子来阐述计算FLOPs的方式。

假设
输入特征大小：$H_{in}\times W_{in}\times C_{in}$
输出特征大小：$H_{out}\times W_{out}\times C_{out}$
卷积核大小：$K\times K\times C_{in}\times C_{out}$

1、卷积FLOPs计算
将整个卷积的过程分为乘法、加法以及bias
乘法：$K\times K\times C_{in}\times H_{out}\times W_{out}\times C_{out}$
加法：$(K\times K\times C_{in}-1)\times H_{out}\times W_{out}\times C_{out}$
bias: $H_{out}\times W_{out}\times C_{out}$

以计算乘法FLOPs为例分析思路：

1. 一次卷积的计算量，即卷积核与特征相乘一次，FLOPs为$K\times K$次，输入特征channel为$C_{in}$,故一次卷积总共运行了$K\times K\times C_{in}$次
2. 输出特征中每一层channel的计算量。有人会考虑到padding和stride的问题，但是假设中已经知道了输出特征的大小，所以可以直接通过该已知量来计算。输出特征中的每一个值均是由卷积核和输入特征做一次卷积得到，输出特征每一层大小为$H_{out}\times W_{out}$，故FLOPs为$K\times K\times C_{in}\times H_{out}\times W_{out}$
3. 输出特征一共有$C_o$层，故共一个完整的卷积FLOPs为$K\times K\times C_{in}\times H_{out}\times W_{out}\times C_{out}$

加法FLOPs的计算思路和乘法的差不多，乘法的每一次卷积FLOPs为$K\times K$次，加法为$(K\times K\times C_{in}-1)$次。

一次完整卷积(不带bias)的FLOPs为
$FLOPs=K\times K\times C_{in}\times H_{out}\times W_{out}\times C_{out}+(K\times K\times C_{in}-1)\times H_{out}\times W_{out}\times C_{out}$
$=(2K^2\times C_{in}-1)\times H_{out}\times W_{out}\times C_{out}$

带上bias为
$FLOPs=(2K^2\times C_i-1)\times H_{out}\times W_{out}\times C_{out}+H_{out}\times W_{out}\times C_{out}$
$=2K^2\times C_{in}\times H_{out}\times W_{out}\times C_{out}$

2、组卷积FLOPs计算
组卷积和普通卷积的区别在于输入特征channel会分为$g$组，卷积核的channel 为$C_{in}/g$
带偏置的FLOPs为：

$FLOPs=(2K^2\times C_{in}-1)\times H_{out}\times W_{out}\times C_{out}+H_{out}\times W_{out}\times C_{out}$
$=2K^2\times C_{in}/g\times H_{out}\times W_{out}\times C_{out}$

3、实际中计算FLOPs工具
Pytorch中的FLOPs计算工具