Delayed Adversarial Training with Non-Sequential Adversarial Epochs

非连续对抗epoch的延迟对抗训练

对抗训练需要在训练时间段内重复生成针对图像批次的攻击，其高复杂性一直时其广泛使用的控制因素 。因此，迄今为止，AT仅用于普通数据集上的训练。很少有研究人员在一定程度上通过提出适度提高了复杂性的AT变体来解决问题，扩展这些进步，这项工作探索了在训练时间方面进一步提高AT复杂性的简单而有效的方法。具体而言，通过这项工作，我们探索了a）训练连续对抗时期和b）在对抗时期攻击整个数据集对于鲁棒学习模型是否是必要的。

非连续对抗时期的延迟对抗训练不从第一个时期开始训练。而是从后期开始

将AT开始之后的第一个时期称为初始对抗时期，由超参数表示，=1表示传统的AT

>1表示延迟AT 

本文所提出的方法：对于>1,在训练期间，在时间间隔t内周期性地出现对抗epoch，所以，AT发生在自然训练时期之间的非连续时期，超参数t需要满足t>1,因为t=1表示的是对抗epoch是顺序发生的

本文假设的前提：在训练过程中可能会有一组后期阶段，对抗样本对模型的影响有限或者没有影响

训练部分数据集

为了进一步减少训练时间，我们还探讨了在对抗时期对整个数据集进行训练的重要性。我们对这组实验的直觉依赖于这样一个事实，即在对抗时期对训练数据集进行二次采样可以节省对整个数据集产生对抗攻击所导致的昂贵计算。因此，我们在CIFAR-10和CIFAR-100上对ResNet18和ResNet50进行了实验，并使用对抗时期仅50%的自然样本对CIFAR-10上训练的WideResnet 28 x 10进行了实验（表IV）。对于大多数实验实例，由表IV表示，在对抗时期对数据集的随机50%进行训练会导致自然准确度的增加，对抗准确度略有下降，同时进一步将训练时间平均减少∼19%.

结论

在本文探索了简单而有效的方法来减少AT的训练时间，同时将学习模型的总体精度保持在可行的水平。我们在训练时间方面提出了一种更有效的AT方式，其中对抗阶段在后一阶段之后开始，并在训练期间周期性地发生。我们通过这种探索性分析观察到，

• a）分类模型不必使用连续的对抗时期进行训练。我们的发现表明，非连续对抗时期显著减少了训练时间，同时保持了几乎不变的准确性，
• b）当对抗时期发生在某个时间间隔下时，学习的模型比用随机对抗时期训练时更稳健。

此外，我们还通过实验证明，在对抗时期对一定百分比的数据进行训练，即只攻击数据集的一部分，可以进一步减少训练时间，而不会显著损害模型的鲁棒性。然而，需要做更多的工作来平衡传统AT及其变体的复杂性和鲁棒性。我们的目标是通过这项工作来引发对引入的超参数的自动选择的更多研究，因为它们的最佳选择可以产生更稳健和有效的模型。