UnNAS:Are Labels Necessary for Neural Architecture Search?论文解析

Are Labels Necessary for Neural Architecture Search?

何凯明和Ross Girshick再次联手，在AutoML领域发力，文章在3月27日刚刚能够搜索到。

这篇文章的主旨思想是：研究NAS的新方向，即利用无人工Label的数据集实现NAS的效果，并且通过实验证明，非监督的方法与监督方法相相比较在多数情况下相关性较大(>0.8)，而在一些任务中，无监督方法搜索出来的网络甚至大于监督方法搜索出来的网络。

个人觉得这篇文章的意义主要在于一个方向的探索，而之所以会产生这个方向探索，并不是凭空想象出来，而是对于人工智能的现状有着深刻的了解，能够整合各个领域的发展以及优缺点，自然而生的想法。

下面是我尝试的简单推导过程，可以说无监督的NAS是一个发展的必然趋势。

 

本文通过两个实验来对UnNAS进行了比较分析，分别是基于样本的实验以及基于搜索的实验。

基于样本的实验，主要是为了验证无监督和有监督的网络结构的相关性。具体做法为在两个搜索空间（DART以及NAS-Bench-101）三个pretext tasks，两个datasets对NAS和UnNAS的结果进行相关性分析。最后实验得出，NAS和UnNAS的结果具有高度相关性。

具体实验可以概括为，在取多个网络，每一个网络分别在NAS和UnNAS中进行简单的训练，然后在验证集上验证他们的准确率。得到一个准确率对。比如在NAS中的准确率为x1,x2,x3,...,xn，在UnNAS中的准确率为y1,y2,y3,...,yn ,然后计算这两组数据的相关性。（稳重实际是取500个，每次从500个中取出m个，进行500/m次试验，但是为了说明思想，尽可能进行简单的概括）。

相关性大，则能够说明，UnNAS和NAS对相同网络的性能具有相似的评价，UnNAS可以替代NAS。

这里仅给出一组在分类任务重相关性的图，实际上在分各种相关性更高。

 

基于搜索的实验相对基于分类的实验而言，更加符合AutoML的任务——找到最佳的网络。如果说基于样本的实验更加偏向于理论分析的话，基于搜索的实验则更加偏向目的。具体做法一言以蔽之——用NAS搜索一个最好的结构，再用UnNAS搜索一个最好的结构，然后比较一下哪一个网络结构在目标任务上表象效果更好。最终的结论就是，UnNAS足以媲美NAS，甚至在一些任务上还有着明显的提高。

 

以上两个实验也就回答了论文的标题，Are Labels Necessary for Neural Architecture Search?

Label不是必须的，可以进行无监督的搜索。

最后再来整理一下文章实验的思路