一、Contextrast

​  边界感知负值(BANE,boundary-aware negative)抽样

image-20250303215048258

​  (e)视觉描述我们的边界感知负值(BANE)采样(具有红色和红色边界的三角形)。我们的抽样优先选择在边缘(红色三角形)上的错误预测的特征,而不是在区域内(带有红色边框的三角形)作为负样本。

二、Attentive and Contrastive Image Manipulation Localization With Boundary Guidance

​  边界感知注意力学习

image-20240910221211400
image-20250303220543188

​  在实践中,所有四个尺度都生成了操作掩模,而仅对两个尺度的中间边界掩模进行预测。对于具有最深特征的预测掩模,我们应用二进制交叉熵(BCE)损失和IoU损失进行监督。此外,我们采用加权二值交叉熵损失[63]和加权IoU损失[63]来监督预测的掩模和边界。边界的ground truth值是通过从膨胀图像中减去二值地面真实掩模的侵蚀而得到的。具体来说,我们应用核大小为5×5、步幅为1的最大池化操作来进行图像扩张和侵蚀。

三、IML-ViT: Benchmarking Image Manipulation Localization by Vision Transformer

image-20250306104609719

​  边缘监督损失

​  为了解释伪影通常在被篡改区域的边缘更为普遍,而被操纵区域和真实区域之间的差异最为明显的事实,我们开发了一种策略,更强调被操纵区域的边界区域。具体来说,我们使用膨胀(⊕)和侵蚀(⊖)[32]等数学形态学运算从原始掩模图像M中生成一个二值边缘掩模M⋆,然后取结果的绝对值。我们用来生成边缘掩码的公式是:

\({M}^{\star}=\,|(M\odot D(k))-\,(M\leftrightarrow B(k))|\)

​  其中,\(B(x)\)生成一个\((2x+1)\times(2x+1)\)交叉矩阵,其中只有第x列和第x行的值为1,而矩阵的其余部分包含0s。选择整数值x近似等于边界掩模中白色区域的宽度。

​  综合损失:为了计算损失函数,我们首先将地面真掩模M和边缘掩模\({M}^{\star}\)垫到H×W的大小,并将它们分别称为\(M_p\)\(M_p^{\star}\)。然后,我们使用以下公式计算最终的损失:

\(\mathcal{L}=\mathcal{L}s e g(P,M_{p})+\lambda\cdot\mathcal{L}e d g e(P*M_{p}^{\star},M_{p}*M_{p}^{\star})\)

​  其中,∗表示点向乘积,它掩盖了原始图像。Lseg和Ledge都是二进制交叉熵损失函数,而λ是一个超参数,它控制着分割和边缘检测损失之间的平衡。默认情况下,我们搜索最优的λ = 20来指导模型关注于边缘区域,这是图5所支持的。我们为λ选择一个较大的值也有两个原因: (1)强调边界区域,(2)为了平衡由零填充引入的大量零。