MoE-FFD:Mixture of Experts for Generalized and Parameter-Efficient Face Forgery Detection

  • 来源:2024 arXiv(submitted TDSC,CCF-A)
  • 作者:Chenqi Kong1, Anwei Luo2, Peijun Bao1, Yi Yu1, Haoliang Li3, Zengwei Zheng4, Shiqi Wang3 and Alex C. Kot1
  • 单位:1 新加坡南洋理工大学; 2 中山大学; 3 香港城市大学; 4 浙江大学;
  • Paper:https://arxiv.org/pdf/2404.08452
  • Code: https://github.com/LoveSiameseCat/MoE-FFD

目录

  • 研究背景
  • 方法流程
    • 网络结构
      • MoE LoRA Layer
      • MoE Adapter Layer
      • Gating Network
    • 损失函数
  • 实验结果
    • 跨数据集评估
    • 交叉操纵方式评估
    • 对现实世界扰动的鲁棒性评估
    • 消融实验——各模块的有效性
    • 消融实验——不同backbone的有效性
    • MoE Learning Scheme的影响
    • MoE v.s. Multi-Experts.
    • MoE loss 的有效性
    • 可视化效果
  • 知识扩展
    • Parameter Efficient Fine-Tuning(PEFT,参数高效微调)
      • LoRA:Low-Rank Adaptation(低秩适配)
    • Mixture of Experts (MoE,混合专家)

研究背景

  • Deepfakes最近在公众中引发了重大的信任问题和安全问题。与CNN人脸伪造检测器相比,基于ViT的方法利用了Transformers的表现力,实现了卓越的检测性能。然而,这些方法仍然表现出以下局限性:

​ (1)从ImageNet权重完全微调基于ViT的模型需要大量的计算和存储资源

你可能感兴趣的:(Deepfake,Detection,人工智能,pytorch)