分类 - IML
Attentive and Contrastive Image Manipulation Localization With Boundary Guidance
发表于TIFS2024，被篡改区域的边界是分离被篡改和未被篡改像素的关键位置，在这项工作中，我们提出了一种图像操作检测的边界感知方案，其中我们引入了充分利用篡改区域的边界信息，并从注意和特征学习两个角度实现了我们的方案。
*现有问题*： 被篡改区域的边界是分离被篡改和未被篡改像素的关键位置。然而，如何利用这些边界信息来提高检测被篡改图像区域的性能仍有待探索。 *解决方案*： 在这项工作中，我们提出了一种图像操作检测的边界感知方案，其中我们引入了充分利用篡改区域的边界信息，并从注意和特征学习两个角度实现了我们的方案。首先，为了进一步增强操作定位，我们鼓励该模型关注一个被篡改区域周围的边界，其中经常存在非自然的混合。其次，受对比学习的启发，我们寻求学习一个特征空间，即篡改区域内的点远离篡改区域边界附近的非调和区域点，以获得更强大的特性来定位篡改区域。具体情况
在注意方面，在我们的框架的解码层中，我们提出了一种新的基于交叉注意的边界感知模块，旨在提取图像中被篡改区域的边界，从而使模型进一步集中于被篡改区域的边界。特别是，边界感知注意模块利用跳连编码特征与前一层解码特征的相关性，提取被篡改区域的边界，进一步用于生成图像篡改定位的掩模。  在特征学习方面，我们提出的模型是基于一个典型的编解码器架构及其特征学习监督由一个新颖的对比目标函数[16]，[22]，[23]，表示为边界引导篡改对比损失，为了推动分开特征采样的篡改和非篡改区域，从而学习更多的区别特征表示。为此，我们采用边界引导的采样策略来收集负训练对，其中我们在被篡改区域的边界周围采样负样本，而不是整个非被篡改区域。该采样方案不仅鼓励模型关注存在非自然混合的边界区域，而且减轻了未篡改区域内巨大变化引起的干扰（见图1中的可视化特征）。 
Robust Image Forgery Detection over Online Social Network Shared Images
发表于CVPR2022。
12
Towards Modern Image Manipulation Localization A Large-Scale Dataset and Novel Methods
发表于CVPR2024型，CAAA可以像素级自动和精确地注释大量的人工伪造的图像，进一步提出了一种新的度量QES，以方便不可靠注释的自动过滤。
13
Multi-view Feature Extraction via Tunable Prompts is Enough for Image Manipulation Localization
发表于ACMMM2024,针对IML任务中公共训练数据集的稀缺，通过采用可调提示来利用预训练模型的丰富先验知识，即Prompt-IML框架,即插即用的特征对齐和融合模块。
*现有问题*： IML任务中公共训练数据集的稀缺直接阻碍了模型的性能。 *解决方案*： 提出了一个Prompt-IML框架，该框架通过采用可调提示来利用预训练模型的丰富先验知识。具体情况
> 通过集成可调提示，从单个预先训练过的主干中提取和调整多视图特征，从而保持性能和鲁棒性  > 特征对齐和融合的FAF模块 
DH-GAN:Image manipulation localization via a dual homology-aware generative adversarial network
发表于Pattern Recognition 2024，双同源感知生成对抗网络（DH-GAN）,选择性金字塔（SAP）校准多尺度特征。
15
UnionFormer:Unified-Learning Transformer with Multi-View Representation for Image Manipulation Detection and Localization
发表于CVPR2024,集成三个视图的UnionFormer框架,一个调节不同尺度上空间一致性的篡改特征提取网络BSFI-Net。
*现有问题*：以往的方法主要利用为高级视觉任务设计的深度卷积神经网络作为特征编码器或直接连接来自不同层的特征，不能充分表示篡改痕迹；目前的高级方法关注于像素或补丁级的一致性，而忽略了对象级的信息，在自然语言提示的引导下，自动生成的伪造部分更有可能表现出对象的不一致。 *解决方案*：设计了专门用于提取取证工件的边界敏感特征交互网络（BSFI-Net, Boundary Sensitive Feature Interaction Network）设计了用于图像操作检测和定位的多视图表示的统一学习transformer框架具体情况
> cnn-Transformer并发网络 BSFI-Net，该网络在保持边缘灵敏度的同时，促进了两个分支中不同尺度的特征之间的彻底交互。  > 采用对比监督来促进两个视图之间的协作  > 统一伪造判别表示，每个篡改判别查询都表示对应建议的三个视图中的篡改线索 
Uncertainty-guided Learning for Improving Image Manipulation Detection
发表于ICCV2023 将不确定性进行建模。
17
Pre-training-free Image Manipulation Localization through Non-Mutually Exclusive Contrastive Learning
发表于ICCV2023，关注边界的信息，使用边界监督。
18
Towards Generic Image Manipulation Detection with Weakly-Supervised Self-Consistency Learning
发表于ICCV2023，为弱监督图像篡改检测，具体来说，学习了两个一致性属性，多源一致性（MSC, multi-source consistency）和补丁间一致性（IPC, inter-patch consistency ）。MSC利用不同的内容无关信息，并通过在线伪标签生成和细化过程实现跨源学习。IPC执行全局成对补丁关系推理，以发现完整的操作区域。
19
Towards Effective Image Manipulation Detection with Proposal Contrastive Learning
发表于TCSVT 2023。
20