卷积神经网络架构的演进：从AlexNet到EfficientNet

在过去的8.5年里，深度学习取得了飞速的进步。回溯到2012年，AlexNet在ImageNet上的Top - 1准确率仅为63.3%，而如今，借助EfficientNet架构和师生训练法，我们已经能达到超过90%的准确率。本文将聚焦于卷积神经网络（CNN）架构的演变，深入探究其背后的基本原理。

一些关键术语

在深入了解各种架构之前，我们需要明确几个关键术语。更宽的网络意味着卷积层中有更多的特征图（滤波器）；更深的网络表示有更多的卷积层；而具有更高分辨率的网络则表示它处理的输入图像具有更大的宽度和深度（空间分辨率），这样产生的特征图将具有更高的空间维度。架构工程的核心就在于缩放，理解这些术语对于后续的学习至关重要。

AlexNet（2012年）

AlexNet由5个卷积层组成，起始的卷积核大小为11x11。它是首个采用最大池化层、ReLU激活函数和Dropout技术的架构。该网络用于对1000个可能的类别进行图像分类，在当时这是一项非常了不起的成就。现在，我们可以用35行PyTorch代码实现它。在那个时候，在CUDA上实现这样的模型非常困难，而且在2015 - 2016年自动微分技术出现之前，在GPU上实现反向传播需要花费数月时间。