文章总览 - 98

Multi-view Feature Extraction via Tunable Prompts is Enough for Image Manipulation Localization
发表于ACMMM2024,针对IML任务中公共训练数据集的稀缺,通过采用可调提示来利用预训练模型的丰富先验知识,即Prompt-IML框架,即插即用的特征对齐和融合模块。
*现有问题*: IML任务中公共训练数据集的稀缺直接阻碍了模型的性能。 *解决方案*: 提出了一个Prompt-IML框架,该框架通过采用可调提示来利用预训练模型的丰富先验知识。具体情况
> 通过集成可调提示,从单个预先训练过的主干中提取和调整多视图特征,从而保持性能和鲁棒性  > 特征对齐和融合的FAF模块 
DH-GAN:Image manipulation localization via a dual homology-aware generative adversarial network
发表于Pattern Recognition 2024,双同源感知生成对抗网络(DH-GAN),选择性金字塔(SAP)校准多尺度特征。
52
UnionFormer Unified-Learning Transformer with Multi-View Representation for Image Manipulation Detection and Localization
发表于CVPR2024,集成三个视图的UnionFormer框架,一个调节不同尺度上空间一致性的篡改特征提取网络BSFI-Net。
*现有问题*:以往的方法主要利用为高级视觉任务设计的深度卷积神经网络作为特征编码器或直接连接来自不同层的特征,不能充分表示篡改痕迹;目前的高级方法关注于像素或补丁级的一致性,而忽略了对象级的信息,在自然语言提示的引导下,自动生成的伪造部分更有可能表现出对象的不一致。 *解决方案*:设计了专门用于提取取证工件的边界敏感特征交互网络(BSFI-Net, Boundary Sensitive Feature Interaction Network)设计了用于图像操作检测和定位的多视图表示的统一学习transformer框架