分类 - 图像篡改检测与定位

Towards Modern Image Manipulation Localization A Large-Scale Dataset and Novel Methods
发表于CVPR2024型,CAAA可以像素级自动和精确地注释大量的人工伪造的图像,进一步提出了一种新的度量QES,以方便不可靠注释的自动过滤。
11
Multi-view Feature Extraction via Tunable Prompts is Enough for Image Manipulation Localization
发表于ACMMM2024,针对IML任务中公共训练数据集的稀缺,通过采用可调提示来利用预训练模型的丰富先验知识,即Prompt-IML框架,即插即用的特征对齐和融合模块。
*现有问题*: IML任务中公共训练数据集的稀缺直接阻碍了模型的性能。 *解决方案*: 提出了一个Prompt-IML框架,该框架通过采用可调提示来利用预训练模型的丰富先验知识。具体情况
> 通过集成可调提示,从单个预先训练过的主干中提取和调整多视图特征,从而保持性能和鲁棒性  > 特征对齐和融合的FAF模块 
DH-GAN:Image manipulation localization via a dual homology-aware generative adversarial network
发表于Pattern Recognition 2024,双同源感知生成对抗网络(DH-GAN),选择性金字塔(SAP)校准多尺度特征。
13
UnionFormer Unified-Learning Transformer with Multi-View Representation for Image Manipulation Detection and Localization
发表于CVPR2024,集成三个视图的UnionFormer框架,一个调节不同尺度上空间一致性的篡改特征提取网络BSFI-Net。
*现有问题*:以往的方法主要利用为高级视觉任务设计的深度卷积神经网络作为特征编码器或直接连接来自不同层的特征,不能充分表示篡改痕迹;目前的高级方法关注于像素或补丁级的一致性,而忽略了对象级的信息,在自然语言提示的引导下,自动生成的伪造部分更有可能表现出对象的不一致。 *解决方案*:设计了专门用于提取取证工件的边界敏感特征交互网络(BSFI-Net, Boundary Sensitive Feature Interaction Network)设计了用于图像操作检测和定位的多视图表示的统一学习transformer框架具体情况
> cnn-Transformer并发网络 BSFI-Net,该网络在保持边缘灵敏度的同时,促进了两个分支中不同尺度的特征之间的彻底交互。  > 采用对比监督来促进两个视图之间的协作  > 统一伪造判别表示,每个篡改判别查询都表示对应建议的三个视图中的篡改线索 
Pre-training-free_Image_Manipulation_Localization_through_Non-Mutually_Exclusive_Contrastive_Learning
发表于ICCV2023,关注边界的信息,使用边界监督。
16
Towards Generic Image Manipulation Detection with Weakly-Supervised Self-Consistency Learning
发表于ICCV2023,为弱监督图像篡改检测,具体来说,学习了两个一致性属性,多源一致性(MSC, multi-source consistency)和补丁间一致性(IPC, inter-patch consistency )。MSC利用不同的内容无关信息,并通过在线伪标签生成和细化过程实现跨源学习。IPC执行全局成对补丁关系推理,以发现完整的操作区域。
17
CatmullRom Splines-Based Regression for Image Forgery Localization
发表于AAAI2024,提出基于CatmullRom样条的回归网络,为了明确抑制假阳性样本和避免不确定性边界,综合再评分算法(CRA,Comprehensive Re-scoring Algorithm),综合评估每个区域的信任分数作为篡改区域,而垂直纹理交互感知(VTP, Vertical Texture-interactive Perception)控制生成更准确的区域边缘。
*现有问题*: 假阳性(FPs)和不准确的边界。 *解决方案*: 基于CatmullRom样条的回归网络(CSR-Net, CatmullRom Splines-based Regression Network),首次尝试将回归方法引入像素级任务。为了明确抑制假阳性样本和避免不确定性边界,我们设计两个相互互补和强化的组件,即综合再评分算法(CRA,Comprehensive Re-scoring Algorithm),综合评估每个区域的信任分数作为篡改区域,而垂直纹理交互感知(VTP, Vertical Texture-interactive Perception)控制生成更准确的区域边缘。