VGMShield：揭秘视频生成模型滥用的检测与追踪技术

人工智能咨询培训老师叶梓 转载标明出处

视频生成模型，如 Stable Video Diffusion 和 Videocrafter，已经能够生成合理且高分辨率的视频。但这些技术进步也带来了被恶意利用的风险，比如用于制造假新闻或进行政治宣传。因此，来自弗吉尼亚大学和亥姆霍兹信息安全中心（CISPA）的研究团队着手开发了 VGMShield，一套旨在降低视频生成模型滥用风险的综合解决方案：

现实世界中的参与者分为三个不同的实体：创建者（Creator）、修改者（Modifier）和消费者（Consumer）。创建者可能是摄影师或记者，他们上传信息供消费者使用。修改者可能会恶意使用这些图像生成误导消费者的视频。为了解决视频生成模型带来的安全隐患，研究者提出了一个包含假视频检测、假视频来源追踪和滥用预防的综合防御框架。

消费者 (Consumer)、创建者 (Creator) 和修改者 (Modifier) 在信息/内容生成和消费周期中的角色

假视频检测和追踪

潜在的威胁模型基于两个关键因素：视频来源和生成视频所使用的模型。检测任务分为四种场景：在目标检测中，检测器不仅知道可能生成视频的模型，还知道用于生成视频的数据源。这种场景虽然理想化，但为研究者提供了一个起点，以理解在最佳条件下模型的表现。第二，数据盲检测，其中检测器知道视频的来源，但对生成视频使用的数据分布一无所知。模型盲检测则相反，检测器知道数据分布，但不知道使用的是哪种模型。最后，开放检测是一个更为现实和具有挑战性的场景，检测器对数据源和模型都一无所知。

假视频检测和追踪的不同场景，包括数据和模型的知识情况

研究者们在构建假视频检测和追踪方法时，