分类 - 图像篡改检测与定位
Towards Modern Image Manipulation Localization A Large-Scale Dataset and Novel Methods
Towards Modern Image Manipulation Localization A Large-Scale Dataset and Novel Methods

发表于CVPR2024型,CAAA可以像素级自动和精确地注释大量的人工伪造的图像,进一步提出了一种新的度量QES,以方便不可靠注释的自动过滤。

11
Multi-view Feature Extraction via Tunable Prompts is Enough for Image Manipulation Localization
Multi-view Feature Extraction via Tunable Prompts is Enough for Image Manipulation Localization

发表于ACMMM2024,针对IML任务中公共训练数据集的稀缺,通过采用可调提示来利用预训练模型的丰富先验知识,即Prompt-IML框架,即插即用的特征对齐和融合模块。

*现有问题*: IML任务中公共训练数据集的稀缺直接阻碍了模型的性能。 *解决方案*: 提出了一个Prompt-IML框架,该框架通过采用可调提示来利用预训练模型的丰富先验知识。
具体情况 > 通过集成可调提示,从单个预先训练过的主干中提取和调整多视图特征,从而保持性能和鲁棒性 ![image-20240824155623293](../postimages/Multi-view-Feature-Extraction-via-Tunable-Prompts-is-Enough-for-Image-Manipulation-Localization/image-20240824155623293.png) > 特征对齐和融合的FAF模块 ![image-20240824220942200](../postimages/Multi-view-Feature-Extraction-via-Tunable-Prompts-is-Enough-for-Image-Manipulation-Localization/image-20240824220942200.png)
12
DH-GAN:Image manipulation localization via a dual homology-aware generative adversarial network
DH-GAN:Image manipulation localization via a dual homology-aware generative adversarial network

发表于Pattern Recognition 2024,双同源感知生成对抗网络(DH-GAN),选择性金字塔(SAP)校准多尺度特征。

13
UnionFormer Unified-Learning Transformer with Multi-View Representation for Image Manipulation Detection and Localization
UnionFormer Unified-Learning Transformer with Multi-View Representation for Image Manipulation Detection and Localization

发表于CVPR2024,集成三个视图的UnionFormer框架,一个调节不同尺度上空间一致性的篡改特征提取网络BSFI-Net。

*现有问题*:以往的方法主要利用为高级视觉任务设计的深度卷积神经网络作为特征编码器或直接连接来自不同层的特征,不能充分表示篡改痕迹;目前的高级方法关注于像素或补丁级的一致性,而忽略了对象级的信息,在自然语言提示的引导下,自动生成的伪造部分更有可能表现出对象的不一致。 *解决方案*:设计了专门用于提取取证工件的边界敏感特征交互网络(BSFI-Net, Boundary Sensitive Feature Interaction Network)设计了用于图像操作检测和定位的多视图表示的统一学习transformer框架
具体情况 > cnn-Transformer并发网络 BSFI-Net,该网络在保持边缘灵敏度的同时,促进了两个分支中不同尺度的特征之间的彻底交互。 ![image-20240617110632461](../postimages/UnionFormer/image-20240617110632461.png) > 采用对比监督来促进两个视图之间的协作 ![image-20240618124629395](../postimages/UnionFormer/image-20240618124629395.png) > 统一伪造判别表示,每个篡改判别查询都表示对应建议的三个视图中的篡改线索 ![image-20240617214850871](../postimages/UnionFormer/image-20240617214850871.png)
14
Uncertainty-Uncertainty_Learning_for_Improving_Image_Manipulation_Detection
Uncertainty-Uncertainty_Learning_for_Improving_Image_Manipulation_Detection

发表于ICCV2023 将不确定性进行建模。

15
Pre-training-free_Image_Manipulation_Localization_through_Non-Mutually_Exclusive_Contrastive_Learning
Pre-training-free_Image_Manipulation_Localization_through_Non-Mutually_Exclusive_Contrastive_Learning

发表于ICCV2023,关注边界的信息,使用边界监督。

16
Towards Generic Image Manipulation Detection with Weakly-Supervised Self-Consistency Learning
Towards Generic Image Manipulation Detection with Weakly-Supervised Self-Consistency Learning

发表于ICCV2023,为弱监督图像篡改检测,具体来说,学习了两个一致性属性,多源一致性(MSC, multi-source consistency)和补丁间一致性(IPC, inter-patch consistency )。MSC利用不同的内容无关信息,并通过在线伪标签生成和细化过程实现跨源学习。IPC执行全局成对补丁关系推理,以发现完整的操作区域。

17
Towards Effective Image Manipulation Detection with Proposal Contrastive Learning
Towards Effective Image Manipulation Detection with Proposal Contrastive Learning

发表于TCSVT 2023。

18
CatmullRom Splines-Based Regression for Image Forgery Localization
CatmullRom Splines-Based Regression for Image Forgery Localization

发表于AAAI2024,提出基于CatmullRom样条的回归网络,为了明确抑制假阳性样本和避免不确定性边界,综合再评分算法(CRA,Comprehensive Re-scoring Algorithm),综合评估每个区域的信任分数作为篡改区域,而垂直纹理交互感知(VTP, Vertical Texture-interactive Perception)控制生成更准确的区域边缘。

*现有问题*: 假阳性(FPs)和不准确的边界。 *解决方案*: 基于CatmullRom样条的回归网络(CSR-Net, CatmullRom Splines-based Regression Network),首次尝试将回归方法引入像素级任务。为了明确抑制假阳性样本和避免不确定性边界,我们设计两个相互互补和强化的组件,即综合再评分算法(CRA,Comprehensive Re-scoring Algorithm),综合评估每个区域的信任分数作为篡改区域,而垂直纹理交互感知(VTP, Vertical Texture-interactive Perception)控制生成更准确的区域边缘。
具体情况 ![image-20240503215025883]( ../postimages/CatmullRom-Splines-Based-Regression-for-Image-Forgery-Localization/image-20240503215025883.png) 在本文中,我们精心设计了一个定制的基于CatmullRom样条的回归网络(CSR-Net),并尝试将回归方法引入像素级图像篡改定位(本文中的IFL)。 详细地说,与传统的边界盒检测方法相比,我们引入了CatmullRom定位技术,该技术对目标区域控制点的轮廓进行了建模,从而实现了更准确和有效的篡改区域定位。然后,为了抑制FPs(假阳性),设计了综合再评分算法(CRA),我们为每个区域实例重新分配分数,区域实例的综合得分由分类得分(CLS)和实例得分(INS)两部分组成。 此外,我们还提出了一个可学习的区域纹理提取模块垂直纹理交互感知(VTP)来进一步参考边缘。 ![image-20240823161357950](../postimages/%E8%AE%BA%E6%96%87%E5%90%88%E9%9B%86/image-20240823161357950.png) 因此,CSRNet可以在不接近FPs的情况下感知所有被篡改的区域,并实现准确的定位。大量的实验表明,CSR-Net优于现有的最先进的方法,不仅在自然图像数据集上,而且在社交媒体数据集上。
19
CFL-Net:Image Forgery Localization Using Contrastive Learning
CFL-Net:Image Forgery Localization Using Contrastive Learning

发表于WACV 2023,RGB频域双通道多尺度特征网络。

20