Uncertainty-guided Learning for Improving Image Manipulation Detection

约 649 字大约 2 分钟

2024-05-16

摘要

图像操纵检测（IMD）至关重要，因为伪造图像和传播错误信息可能是恶意的，会危害我们的日常生活。IMD是解决这些问题的核心技术，并在两个主要方面提出了挑战：（1）数据不确定性，即被操纵的工件通常很难被人类辨别，并导致噪声标签，这可能会干扰模型训练；（2）模型不确定性，即由于操纵操作，同一对象可能包含不同的类别（篡改或未篡改），这可能会混淆模型训练并导致不可靠的结果。以往的工作主要集中在通过设计细致的特征和网络来解决模型的不确定性问题，但很少考虑数据的不确定性。在本文中，我们通过引入一个不确定性引导的学习框架来解决这两个问题，该框架通过一个新的不确定性估计网络（UEN）来测量数据和模型的不确定性。UEN在动态监督下进行训练，并输出估计的不确定性图来细化操纵检测结果，这显著缓解了学习困难。据我们所知，这是第一项将不确定性建模嵌入IMD的工作。在各种数据集上进行的大量实验证明了最先进的性能，验证了我们方法的有效性和可推广性。

将不确定性引入图片篡改检测：Model 不确定性（同一对象因不同的模型标记不同）与 Data 不确定性（误标签与漏标签）

Model不确定性由U^p测定，p_t是第 t 次采样中的估计操纵得分图；U^GT是真实值 y 和 μ ̂之间的差异，可以测定Model不确定性和Data不确定性，可以用动态不确定性监督Lu，让U^GT专注于Data不确定性

其主干网络是HRNetV2 （特征提取网络）

模型基于数据不确定性可以增强复杂边缘的篡改检测，精细化粗略输出的边缘，得到更好的结果

该模型是在7张A100上训练，可见训练难度大，不易收敛