图像篡改检测定位
已读论文汇总
橘色为A类会议、期刊:> 黄色为B类会议、期刊:> 绿色为C类会议、期刊:
Backbone
骨干网络,多为图像分类的网络。
[Attention Is All You Need]
[EfficientNet: Rethinking Model
Scaling for Convolutional Neural Networks] (ICML '19)
[Paper]
[Code]
[An Image is Worth 16x16 Words:
Transformers for Image Recognition at Scale] (ICLR '21)
[Paper]
[Code]
[Multi-Dimensional Model Compression
of Vision Transformer] (ICME '22) [Paper]
Deep Residual Learning for Image
Recognition (CVPR '16) [Paper]
Generative Adversarial Ne ...
论文合集
Attentive
and Contrastive Image Manipulation Localization With Boundary
Guidance(TIFS24)
现有问题:
在被操纵的图像中,被篡改区域的边界是分离被操纵和未被操纵像素的关键位置,在定位被操纵区域时应特别注意并明确利用这一点。然而,如何利用这些边界信息来提高检测被操纵图像区域的性能仍有待探索。。
解决方案:提出了一种新的边界引导图像操纵定位模型,该模型通过精心设计的注意力和对比学习机制充分利用被篡改区域的边界信息,在框架的解码器中引入了一个边界感知注意模块,旨在指导模型通过提取被操纵区域的边界来强调图像操作的非自然混合,我们提出了一种边界引导的篡改对比损失,鼓励模型将样本的边缘从篡改和非篡改区域扩大到最大的程度。
具体情况
其网路架构如下:
image-20240910222829501
image-20240910221211400
A
New Benchmark and Model for Challenging Image M ...
特征融合、特征采样方法合集
Swim Transformer:
PatchMerging类 PatchMerging 类是 Swin Transformer
架构中用于降低特征图分辨率的层。这个过程通过合并相邻的patch来减少序列长度,同时增加通道数,以保持信息的密度。
每执行一个stage后,都会执行一个一个下采样操作,也就是PatchMerging类的前向传播。
所谓的下采样操作,主要是把x切片成4个,\(x_0\)、\(x_1\)、\(x_2\)、\(x_3\)这四个是按照长宽间隔去选的:
Swim Transformer
x原来是8 ∗ 8,取完后变成了4个4 ∗
4的,再把4个做一个拼接,拼接完成后再连接一个全连接,使用全连接进行降维。
构造函数:
input_resolution ,dim :输入特征的分辨率和通道数
reduction
,初始化一个线性变换,用于将相邻四个patch的特征合并成一个patch
前向传播:
原始输入:
torch.Size([4, 3136, 96])2. H, W =
5656,输入特征长宽3. B, L, C ...
技巧合集
MarkDown(一):基本语法
MarkDown(二):图表流程图
MarkDown(三):公式语法
Hexo技巧
typora技巧
Attentive and Contrastive Image Manipulation Localization With Boundary Guidance
Attentive and Contrastive Image Manipulation Localization With Boundary
Guidance
Wenxi Liu , Member, IEEE, Hao Zhang , Xinyang Lin , Qing Zhang
, Qi Li , Xiaoxiang Liu , Ying Cao
摘要
近年来,图像生成技术的快速发展,导致了对操纵图像的广泛滥用,导致了信任危机,影响了社会公平。因此,我们工作的目标是检测和定位图像中被篡改的区域。许多基于深度学习的方法已经被提出来解决这一问题,但它们很难处理手动微调到图像背景的篡改区域。通过观察缓和区域的边界对篡改和非篡改部分的分离至关重要,我们提出了一种新的边界引导的图像操作检测方法,它引入了利用篡改区域边界信息的固有偏差。我们的模型采用编译码器结构,采用多尺度定位掩码预测,并通过注意机制和对比学习来引导下利用先验边界知识。特别地,我们的模型因为如下原因是独特的,1)我们在网络解码器中提出了一个边界感知注意模块,该模块预测被篡改区域的边界,从而 ...
ImageForensicsOSN
Robust Image Forgery Detection over Online Social Network Shared Images
Haiwei Wu, Jiantao Zhou, Jinyu Tian, and Jun Liu
智慧城市物联网国家重点实验室
澳门大学计算机与信息科学系
{yc07912, jtzhou, yb77405, yc07453}@um.edu.mo
摘要
Photoshop和美图等图像编辑软件的滥用,导致数字图像的真实性受到质疑。与此同时,网络社交网络(OSNs)的广泛使用使其成为传输伪造图像、报道假新闻、传播谣言等的主要渠道。不幸的是,osn所采用的各种有损操作,如压缩和调整大小,给实现鲁棒的图像伪造检测带来了巨大的挑战。为了对抗OSN共享的伪造行为,本文提出了一种新的鲁棒训练方案。我们首先对osn引入的噪声进行了彻底的分析,并将其解耦为两部分,即可预测的噪声和看不见的噪声,它们分别建模。前者模拟了所公开的(已知)osn操作所引入的噪声,而后者的设计不仅完成前一个,而且还考虑了探测器本身 ...
Multi-view Feature Extraction via Tunable Prompts is Enough for Image Manipulation Localization
发表于ACMMM2024,针对IML任务中公共训练数据集的稀缺,通过采用可调提示来利用预训练模型的丰富先验知识,即Prompt-IML框架,即插即用的特征对齐和融合模块。
DH-GAN
发表于Pattern Recognition 2024,双同源感知生成对抗网络(DH-GAN),选择性金字塔(SAP)校准多尺度特征。