Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data（主动防御）

一、论文信息

论文：Artificial Fingerprinting for Generative Models: Rooting Deepfake Attribution in Training Data

会议：ICCV2021

作者团队：

二、创新与贡献

现有的Deepfake检测工作虽有很高的准确率，但受限于生成技术的进步和检测技术的对抗，均为被动式深度检测。本文通过在模型中引入人工指纹来寻求一种主动和可持续的检测方案，通过将人工指纹引入到生成模型，使识别和追踪成为可能。本文主要有以下几个贡献：

1. 将图像隐写与GANs协同起来应用于深伪鉴别和归因，提出了第一个主动和可持续的深伪鉴别方法。

2. 本文证实了人工指纹可以从训练数据转移到生成模型，然后转移到所有生成的deepfakes，且只有基于深度学习的指纹识别技术可以转移到生成模型，而传统的隐写与水印技术不行。

3. 本文提出的方法有以下几点优点：1）普遍性，适用于各种尖端的生成模型；2）保真度，对生成质量的副作用忽略不计；3）鲁棒性，对许多干扰保持鲁棒；4）保密性，人造指纹很难被发现；5）deepfake检测，将deepfake检测和归因转换为较小的任务，准确度超过当时SOTA。

三、方法

Pipeline

1. 首先训练一个图像隐写编码器与解码器；

2. 使用编码器将人工指纹嵌入到训练数据中；

3. 用原始协议训练一个生成模型；

4. 从生成的Deepfake中解码指纹。

本文利用基于深度学习的隐写方法将人工指纹嵌入到训练数据中，并验证它们对生成模型的可转移性。具体是将信息编码到生成器参数中，使得所有生成的图像都与该信息纠缠在一起，间接将指纹从训练数据转换为模型参数。

隐写训练

源身份由人工指纹w表示，使用隐写系统将任意指纹w嵌入到任意图像编码器E(X,w)->Xw，我们将编码器E与一个解码器D(Xw)->w耦合以从图像中检测指纹信息。E和D用卷积网络训练，其训练损失为Lbce与Lmse(二值交叉熵损失与均方误差)如下，其中Wk与W^k分别是输入指纹和检测指纹的第k位：

人工指纹嵌入

在这个阶段，使用已经训练好的E和D网络，对每个训练数据集分配一个唯一的指纹w，使用E训练每张图片x，得到包含指纹的训练数据集Xw。

生成模型训练

使用加入指纹的数据集代替原始数据集训练生成模型。

人工指纹解码

假设指纹可以从训练数据转移到生成模型，那所有的生成图像中都将包含相同的指纹信息w，使用解码器从生成的图像中恢复指纹。

人工指纹匹配

匹配时判断解码指纹w^与生成模型训练中的使用的指纹w之间的匹配位数，零假设H0是随机测试成功次数（匹配位数），在零假设下，匹配位的概率遵循二项式分布，试验次数n是指纹中的位数，k是每位有0.5成功概率的成功次数，然后通过计算的概率来测量假设的P值，在零假设下获得k或者更高的匹配位数：

如果零假设成立，则指纹匹配，w^~w，结果概率P值很低，当P值小于0.05时，将1-P视为验证置信度。

四、实验

数据集

• 无条件生成：150k/50k CelebA 128x128分辨率; 50k/50k LSUN Bedroom 128x128分辨率; 50k/50k LSUN Cat 256x256分辨率。

• 类条件生成：CIFAR-10 32x32分辨率。

• 图像条件生成：Horse-Zebra、Cat-dog 256x256分辨率。

可转移性

不是将指纹嵌入到训练数据中，而是将指纹生成与模型训练结合起来，我们在干净的数据上训练，并强制生成的图像不仅近似真实的训练图像，而且还包含特定指纹。如下表，位精确度越高越好，FID生成质量越低越好，“Orig FID”列对应于参考的原始模型（非指纹），前三行是基线。

保真性

a、b之间的差异放大十倍以后观察

 鲁棒性

鲁棒性好，即使加入指纹的图像有很多扰动，检测程序仍能稳定运行（逐位精确度>=0.75）

保密性

指纹保密验证，最后一列显示指纹存在的二进制分类精度，越小保密性越强

检测性能