[paper]ADVERSARIAL MACHINE LEARNING AT SCALE

本文的贡献包括：
（1）如何将对抗训练扩展到大型模型和数据集；
（2）对抗训练赋予单步攻击算法鲁棒性的原理；
（3）发现多步攻击算法的可移植性相比单步攻击算法要差一些，因此单步攻击算法最适合于发动黑盒攻击。
（4）对于“标签泄漏”效应的解决方法。
“标签泄漏”效应即经过对抗训练的模型在对抗样本上的性能要比在原始样本上更好，因为对抗样本生成过程中使用真实标签，并且模型可以学习对抗样本生成过程中的规律性。

• 在结构相同的情况下，模型能力越强（即参数数量越多）的模型对对抗样本的鲁棒性越好。
• 不同类型的对抗样本在模型之间具有不同程度的可迁移性。 在对抗训练中训练较多的对抗样本在模型之间迁移的能力越差。
• 用单步方法构造的，使用真实标签训练的对抗样本攻击效果要比纯粹的对抗样本差，因为经过对抗训练的模型可以学习到对抗样本生成过程中的规律性。

攻击算法：

• FGSM
  
• ILCM
  
• BIM
  
• One-step target class methods
  
  对抗训练算法：
  

Loss function ：
$L(X|y)$ 表示真实标签为y的单个图像的损失
m表示训练每个minibatch中图像的总数
k表示训练每个minibatch中对抗样本的数量
λ表示控制对抗样本在损失中的相关权重

实验结果：