为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的？

（转自知乎：周博磊

   深度学习（Deep Learning）、机器学习、人工智能 话题的优秀回答者）

1、AlexNet (https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf), 

2、Network in Network (https://arxiv.org/pdf/1312.4400v3.pdf), VGG(https://arxiv.org/pdf/1409.1556.pdf), 

3、GoogLeNet (http://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Szegedy_Going_Deeper_With_2015_CVPR_paper.pdf), 

4、Resnet (https://arxiv.org/pdf/1512.03385v1.pdf)

等CNN网络都是图片分类网络, 都是在imagenet上1.2 million数据训练出来的。由于从这些pretrained网络抽出来的deep feature有良好的generalization（一般化）的能力，可以应用到其他不同的CV问题，而且比传统的hand-craft feature如SIFT，bag of word要好一大截，所以得到广泛应用。目前大部分的high-level vision相关的问题，都是利用基于CNN的方法了。花点时间去了解这几个核心分类网络的结构和发展，是挺有必要的。

一般来说，某CNN网络在imagenet上面的分类结果越好，其deep feature的generalization能力越强。最近出现蛮多论文，里面在benchmark（基准）上面的比较是自己方法的核心网络换成resnet，然后去比别人基于vgg或者alexnet的方法，自然要好不少。所以对于某个CV的问题，选一个优秀的核心网络作为基础，然后fine-tune, 已经是套路，这点从ResNet那篇论文的citation的增长就可以看出来。fine-tune的原因一是训练AlexNet等网络需要imagenet, places等million级别的数据，一般的CV任务都没有这么多数据。二是因为pre-trained model本身的feature已经足够generalizable，可以立刻应用到另外一个CV任务。

至于如何开发出新的CNN分类模型，这就需要积累训练CNN的经验和直觉，以及大量的计算资源来尝试不同的网络结构。一般的研究者和实验室很难负担得起。但如果能搞出个如ResNet一样的牛逼网络，瞬间Best Paper , 这也是Kaiming师兄的厉害之处。这里有个八卦，去年Facebook AI Research里面Ross Girshick和Piotor Dollar等大牛带领几个research engineer&intern猛搞COCO challenge, 用上了DeepMask，MultiPath Network等黑科技，可惜最后还是败北于Kaiming领队的MSRA。原因是他们的核心网络还是基于VGG，而Kaiming放出大招ResNet。Resnet比起VGG单在imagenet上的分类结果就要好大概50%，这自然是没法比，甭管怎么个调参和前端如何好的object proposal，输得真是心服口服。这里值得一提的是，Kaiming能提出ResNet,不仅在于他对问题本身深入思考和灵敏的直觉（那篇Dark Channel paper真是直觉的直接体现），也在于他调CNN长期的积累，从spatial pyramid pooling, 到leaky relu, 再到resnet, 中间的确有三年多时间的投入。这里的后话是Kaiming加入FAIR, 跟Piotr Dollar坐到了一块。几个做high-level vision最牛逼的人都在FAIR里面了，很期待他们接下来强强联合会做出如何的研究工作。

最后我再梳理下这些网络之间的关系。我个人觉得这几个网络是这样演变而来的.

AlexNet - > VGG: VGG可以看成是加深版本的AlexNet. 都是conv layer + FC layer.
Network in Network -> GoogLeNet: NIN本身大家可能不太熟悉，但是我个人觉得是蛮不错的工作，Lin Min挺厉害。GoogLeNet这篇论文里面也对NIN大为赞赏。NIN利用Global average pooling去掉了FC layer, 大大减少了模型大小，本身的网络套网络的结构，也激发了后来的GoogLeNet里面的各种sub-network和inception结构的设计. 
ResNet：这个网络跟前面几个网络都不同。我清楚记得这篇论文是在去年年底我去开NIPS的时候release到arxiv上的。当时我开会间歇中看着论文里面在cifar上面的一千层的resnet都目瞪狗呆了。。。然后再看到ResNet刷出了imagenet和COCO各个比赛的冠军，当时就觉得如果这论文是投CVPR, 那是绝对没有争议的Best paper, 果不其然。好像resnet后来又有些争议，说resnet跟highway network很像啥的，或者跟RNN结构类似，但都不可动摇ResNet对Computer Vision的里程碑贡献。当然，训练这些网络，还有些非常重要的trick, 如dropout, batch normalization等也功不可没。等我有时间了可以再写写这些tricks。

再最后，这里潜在的一个问题是这些CNN网络都是在ImageNet上面1.2million数据训练出来的，很难分析是否数据源本身会对CNN造成影响。我和MIT的同事建立了一个10 million级别的场景分类数据库Places Database (Places2: A Large-Scale Database for Scene Understanding)。Places是除了imagenet另外一个可以train CNN from scratch的图片数据库，我们把Places数据和不同pre-trained Places-CNNs都提供下载了。这里我们还做了些有意思的实验，比如说合并imagenet和places的数据，训练hybrid net，其feature也有不同的performance和generalization, 具体见GitHub - metalbubble/places365: The Places365-CNNs和我们的arxiv论文（http://places.csail.mit.edu/places2_arxiv.pdf）。我做了些CNN网络visualization的工作，看这些网络结构里面到底学到了什么东西，以及在物体为核心的Imagenet上和场景为核心的Places数据库上分别训练出来的结果是否不同，大家可以看看我之前的一篇ICLR'15 paper（https://arxiv.org/pdf/1412.6856.pdf）。随着object centric task的饱和，我期待在scene understanding方向会有更好的模型和方法出现。