Towards Universal Fake Image Detectors That Generalize Across Generative Models

Utkarsh Ojha* ，Yuheng Li* ，Yong Jae Lee
University of Wisconsin-Madison

摘要

​  随着生成模型的迅猛发展，通用型假图检测器的需求日益增长。本研究首先揭示：现有范式——通过训练深度网络进行真伪图像分类——在检测生成对抗网络（GAN）生成的假图时，对新型生成模型的检测效果大打折扣。分析发现，现有分类器存在不对称调校问题，其检测机制主要针对图像伪造特征。真实图像类别沦为“接收”类，包含所有非伪造内容，甚至包括训练过程中未接触过的模型生成图像。基于这一发现，我们提出无需学习即可实现真伪分类的方案，即使用未经过专门训练的特征空间进行区分。该方案通过最近邻算法和线性探测技术实现。当使用大型预训练视觉语言模型的特征空间时，最简单的最近邻分类基线模型在检测各类生成模型生成的假图像时展现出惊人的泛化能力。例如，在测试未见过的扩散模型和自回归模型时，该模型的平均精度（mAP）较SoTA[50]提升了15.07%，准确率提高了25.90%。
​  我们的代码、模型和数据可在以下网址获取：https://github.com/Yuheng-Li/UniversalFakeDetect

1.引言

2.相关工作

3.先前工作

4.方法