Training-free Neural Architecture Searchthrough Variance of Knowledge of Deep Network Weights（预览版本）

代码位置

摘要

深度学习彻底改变了计算机视觉，但它使用深度网络架构取得了巨大的成功，而这些架构大多是手工制作的，因此可能不是最理想的。神经架构搜索 (NAS) 旨在通过遵循明确定义的优化范式来弥补这一差距，该范式系统地寻找最佳架构，给定客观标准，例如最大分类准确度。然而，NAS 的主要限制是其天文数字般的计算成本，因为它通常需要从头开始训练每个候选网络架构。在本文中，我们旨在通过基于 Fisher 信息提出一种新的无需训练的图像分类准确度代理来缓解这一限制。所提出的代理具有强大的统计学理论背景，它允许在不训练网络的情况下估计给定深度网络的预期图像分类准确度，从而显着降低标准 NAS 算法的计算成本。我们的无需训练的代理在三个公共数据集和两个搜索空间中取得了最先进的结果，无论是使用之前提出的指标进行评估，还是使用我们提出的新指标进行评估，我们证明该新指标对于实际的 NAS 应用更具参考价值。源代码可在 https://www.github.com/ondratybl/VKDNW 上公开获取。