Towards Generic Image Manipulation Detection with Weakly-Supervised Self-Consistency LearningICCVGitHubResearchGate

University at Buffalo

摘要

​ 随着先进的图像处理技术的出现，检测操作变得越来越重要。尽管最近基于学习的图像操作检测方法取得了成功，但它们通常需要昂贵的像素级注释来进行训练，同时在与训练图像相比被不同操作的图像上进行测试时表现出较差的性能。为了解决这些局限性，我们提出了弱监督图像操作检测，使得训练目的只需要二进制图像级别的标签（真实或篡改）。这种弱监督设置可以利用更多的训练图像，并有可能快速适应新的操作技术。为了提高泛化能力，我们提出了弱监督自一致性学习（WSCL）来利用弱注释图像。具体来说，学习了两个一致性属性：多源一致性（MSC, multi-source consistency）和补丁间一致性（IPC, inter-patch consistency ）。MSC利用不同的内容无关信息，并通过在线伪标签生成和细化过程实现跨源学习。IPC执行全局成对补丁关系推理，以发现完整的操作区域。大量实验验证了我们的WSCL，即使是弱监督的，在分布内和分布外评估下，与完全监督的WSCL相比，也表现出竞争性能，以及合理的操纵定位能力。

The single-stream overview:

image-20240510171025018

图2:单流概述。给定输入图像，基线方法（上图）预测操作图。预测图由基于自适应池的分类损失 $ L_{A-CLS} $ 和多源一致性学习损失 $ L_{MSC} $ 监督。同时，补丁间一致性分支（底部）学习测量补丁相似性的一致性体积。一致性卷由补丁间一致性丢失 $ L_{IPC} $ 来监督。

Multi-source overview:

image-20240510171253974

图3。多源一致性学习的例证。分别在RGB图像、SRM噪声图和Bayar噪声图上训练三个并行流。它们的加权平均预测被用作伪地面实况，以监督每个流。