《Deepfake Video Detection through Optical Flow based CNN》光流法检测假视频论文解析

如题，本篇论文是通过光流法，以CNN网络，对deepfake的视频进行检测真伪，deepfake相关介绍点击这里
这篇文章使用如下结构

文章提出，要fake视频和origin视频的差异在于，一个是计算机合成，一个是摄像机拍摄而成，而光流可以利用这种差异，在光流场中进行体现

方法如下：

1. 对于t时间的帧 f(t),提取forward flow光流OF(f(t),f(t+1))用的CNN模型是PWC-Net,这种技术基于pyramidal processing and warping和cost volume来预测光流
2. 然后将算出的forward flow光流OF(f(t),f(t+1))作为输入，进入一个semi-trainable CNN，称为Flow-CNN，这个CNN内部是一些已经训练好的网络，使用VGG16和ResNet50，正如Figure1
3. 由于deepfake数据集不足以从头训练网络，在网络的一部分采用transfer learning，其余部分进行fine-tuned，fine-tuned时，网络的第一层是固定，最后一层卷积层和dense ones是已经被训练好的
4. 最后的全连接层在使用sigmoid激活后，会输出一个unit，放置于网络的末尾，对于每一帧，作为fake or real的的依据。
5. 为了利用现有的pre-trained 网络对原始RGB图像进行训练，使用固定的颜色编码方法将光流转换为3通道的图像，像素的颜色是由flow vector和horizontal axis之间的夹角决定。颜色的饱和度由运动的强度决定
   就是这个
   

初步实验结果

可视化例子效果如下

可以发现，在视频中的人说话的时候，左边original的光流场出现变化，而右边fake的光流场依然很平滑
尝试使用网络去学习这些线索，这个网络的数据集处理为
300X300的包含脸部的图片，从中随机选取224X224的方形patches，并将其随机左右翻转
learing rate :Adam optimizer 10^-4
默认momentum values
batch size : 356
dataset： FaceForensics++ ，包含1000 original video ,使用三种fake方法，Deepfakes,Face2Face,FaceSwap。
训练，验证，测试集的比例为6:1:1
结果如下

只测试了Face2Face，发现使用不同的网络做Flow-CNN效果不同
Flow-CNN就是

结论

本文介绍并研究了利用光流场差异作为识别deepfakes视频和original视频的线索的思想。这是一个非常新奇的尝试，考虑了序列时间维度中可能的异常。在最初的实验中，为了解决使用pre-trained的网络的问题，运动矢量已经被复制作为3通道图像发送，然后被认为是神经网络的输入.在具有不同类型网络的Face Forensics数据集上获得的初步结果非常有希望。这种特征似乎能够指出两个分析案例之间存在的一些无序性。这一证据为许多可能的未来工作铺平了道路：首先，它可以评估通过对更多数据集和其他神经网络的测试，研究用于deepfakes的光流场的可靠性；其次，研究这种方法将是有趣的。它利用时间轴上的不一致可以与众所周知的最先进的基于框架的方法相结合，以提高它们的性能。