DH-GAN: Image manipulation localization via a dual homology-aware generative adversarial network
\(\text{Weihuang Liu}^1,\text{Xiaodong Cun}^1,\text{Chi-Man Pun }^*\)
澳门大学科技学院计算机与信息科学系，澳门凼仔

摘要

图像操作定位是一种二值分割任务，对被篡改的伪影敏感，而不是物体的对象。因此，传统的方法和基于学习的方法都高度依赖于手工制作的特征。然而，这些特定定义的特征限制了网络对一般场景的能力。

为了解决这一问题，我们提出了一个双同源感知生成对抗网络（DH-GAN, dual homology-aware generative adversarial network），这是一种新的基于gan的框架来定位被操纵的区域。首先，我们通过使用选择性金字塔生成器重新校准多尺度编码特征来定位伪造区域。然后，我们在鉴别器中进行同源性识别。所提出的同源识别鉴别器包含一堆掩码卷积（MConv, masked convolution）层，并学习以硬门控的方式识别预测/目标掩蔽图像上的分割像素的真实/虚假。总的来说，这些网络是在一个标准的GAN下进行优化的。实验表明，该方法在四种流行的图像处理数据集上都优于其他最先进的算法。

我们的主要贡献总结如下：

  • 我们提出了一种双同源感知生成对抗网络（DH-GAN），这是一种新的基于gan的框架，用于由两个同源感知的鉴别器进行图像操作定位。
  • 在生成器中，我们遵循编码器-解码器结构，设计了选择性金字塔（SAP），它使用融合的多阶段动作机制来选择和重新校准多尺度特征。
  • 在每个同源感知鉴别器中，我们提出了一个基于mconv的网络，利用预测掩模与地面真实掩模来识别分割像素的同源性。
  • 我们的方法在几个图像伪造检测基准上取得了最先进的性能。
image-20240824153543322
image-20240824153751891
image-20240824153820459