边界引导

约 807 字大约 3 分钟

2026-03-11

边界感知负值（BANE，boundary-aware negative）抽样

(e)视觉描述我们的边界感知负值（BANE）采样（具有红色和红色边界的三角形）。我们的抽样优先选择在边缘（红色三角形）上的错误预测的特征，而不是在区域内（带有红色边框的三角形）作为负样本。

二、Attentive and Contrastive Image Manipulation Localization With Boundary Guidance

边界感知注意力学习

在实践中，所有四个尺度都生成了操作掩模，而仅对两个尺度的中间边界掩模进行预测。对于具有最深特征的预测掩模，我们应用二进制交叉熵（BCE）损失和IoU损失进行监督。此外，我们采用加权二值交叉熵损失[63]和加权IoU损失[63]来监督预测的掩模和边界。边界的ground truth值是通过从膨胀图像中减去二值地面真实掩模的侵蚀而得到的。具体来说，我们应用核大小为5×5、步幅为1的最大池化操作来进行图像扩张和侵蚀。

三、IML-ViT: Benchmarking Image Manipulation Localization by Vision Transformer

边缘监督损失

为了解释伪影通常在被篡改区域的边缘更为普遍，而被操纵区域和真实区域之间的差异最为明显的事实，我们开发了一种策略，更强调被操纵区域的边界区域。具体来说，我们使用膨胀（⊕）和侵蚀（⊖）[32]等数学形态学运算从原始掩模图像M中生成一个二值边缘掩模M⋆，然后取结果的绝对值。我们用来生成边缘掩码的公式是：

${M}^{\star}=\,|(M\odot D(k))-\,(M\leftrightarrow B(k))|$

其中， $B(x)$ 生成一个 $(2x+1)\times(2x+1)$ 交叉矩阵，其中只有第x列和第x行的值为1，而矩阵的其余部分包含0s。选择整数值x近似等于边界掩模中白色区域的宽度。

综合损失：为了计算损失函数，我们首先将地面真掩模M和边缘掩模 ${M}^{\star}$ 垫到H×W的大小，并将它们分别称为 $M_p$ 和 $M_p^{\star}$ 。然后，我们使用以下公式计算最终的损失：

$\mathcal{L}=\mathcal{L}s e g(P,M_{p})+\lambda\cdot\mathcal{L}e d g e(P*M_{p}^{\star},M_{p}*M_{p}^{\star})$

其中，∗表示点向乘积，它掩盖了原始图像。Lseg和Ledge都是二进制交叉熵损失函数，而λ是一个超参数，它控制着分割和边缘检测损失之间的平衡。默认情况下，我们搜索最优的λ = 20来指导模型关注于边缘区域，这是图5所支持的。我们为λ选择一个较大的值也有两个原因： (1)强调边界区域，(2)为了平衡由零填充引入的大量零。