Pre-training-free Image Manipulation Localization through Non-Mutually Exclusive Contrastive Learning

四川大学计算机科学学院

厦门科技大学计算机与信息工程学院

摘要

深度图像操作定位（IML）模型存在训练数据不足，严重依赖于预训练。我们认为对比学习更适合于解决IML的数据不足问题。形成相互排斥的正性与负性是对比学习的先决条件。然而，当在IML中采用对比学习时，我们遇到了三类图像补丁：篡改、真实和轮廓补丁。篡改和真实的补丁自然是相互排斥的，但是包含篡改和真实像素的轮廓补丁对它们不是相互排斥的。

简单地取消这些轮廓补丁会导致巨大的性能损失，因为轮廓补丁对学习结果是决定性的。因此，我们提出了非互斥对比学习（NCL）框架来从上述困境中拯救传统的对比学习。在NCL中，为了应对非互斥性，我们首先建立一个具有双分支的枢轴结构，在训练时不断地在正和负之间切换轮廓补丁的作用。然后，我们设计了一个枢轴一致的损失，以避免由角色转换过程造成的空间损坏。

通过这种方式，NCL既继承了自监督的优点来解决数据不足，又保留了较高的操作定位精度。大量的实验证明，我们的NCL在没有任何预训练的情况下，在所有五个基准测试上都达到了最先进的性能，并且在看不见的真实样本上更健壮。