标签 - 区域建议网络RPN
UnionFormer Unified-Learning Transformer with Multi-View Representation for Image Manipulation Detection and Localization
UnionFormer Unified-Learning Transformer with Multi-View Representation for Image Manipulation Detection and Localization

发表于CVPR2024,集成三个视图的UnionFormer框架,一个调节不同尺度上空间一致性的篡改特征提取网络BSFI-Net。

*现有问题*:以往的方法主要利用为高级视觉任务设计的深度卷积神经网络作为特征编码器或直接连接来自不同层的特征,不能充分表示篡改痕迹;目前的高级方法关注于像素或补丁级的一致性,而忽略了对象级的信息,在自然语言提示的引导下,自动生成的伪造部分更有可能表现出对象的不一致。 *解决方案*:设计了专门用于提取取证工件的边界敏感特征交互网络(BSFI-Net, Boundary Sensitive Feature Interaction Network)设计了用于图像操作检测和定位的多视图表示的统一学习transformer框架
具体情况 > cnn-Transformer并发网络 BSFI-Net,该网络在保持边缘灵敏度的同时,促进了两个分支中不同尺度的特征之间的彻底交互。 ![image-20240617110632461](../postimages/UnionFormer/image-20240617110632461.png) > 采用对比监督来促进两个视图之间的协作 ![image-20240618124629395](../postimages/UnionFormer/image-20240618124629395.png) > 统一伪造判别表示,每个篡改判别查询都表示对应建议的三个视图中的篡改线索 ![image-20240617214850871](../postimages/UnionFormer/image-20240617214850871.png)
1