DETECTIVE SAM: ADAPTIVE AI-IMAGE FORGERY LOCALIZATION

Anonymous authors
Paper under double-blind review

ICLR 2026 rate： 6-6-6-4

摘要

​  在生成式AI时代，图像伪造检测面临全新挑战：现代编辑流程生成的逼真图像经过语义连贯的处理后，能规避传统检测手段，而模型能力也在飞速进化。为此，我们开发了基于SAM2框架的Detective SAM系统。SAM2作为图像分割基础模型，通过结合扰动驱动的取证线索、轻量级特征适配器和掩码适配器，实现自动提示将取证线索转化为伪造掩码。为应对扩散模型的快速迭代，我们推出AutoEditForge自动化编辑生成流程，涵盖四种编辑类型。该流程不仅提供高质量数据以维持新编辑器下的检测精度，还能持续优化Detective SAM。在七个基准数据集和七种基线模型的测试中，Detective SAM展现出稳定的离分布性能，平均交并比达到36.99/44.19 F1，较最优基线提升33.67%的交并比。此外，我们证明最先进的编辑会导致定位系统崩溃。当使用500个AutoEditForge样本时，Detective SAM能快速适应并恢复性能，使得随着编辑模型改进，检测系统可实现低摩擦度的实用更新。AutoEditForge、Detective SAM的预训练权重和训练脚本可在匿名存储库中获取： https://anonymous.4open.science/r/Detective-SAM-9057/.

1 引言

​  深度学习技术让逼真图像生成变得触手可及。现代模型生成的合成图像对人眼而言往往难以辨识（拉梅什等人，2021）。即便图像主体真实，针对性的编辑操作仍能篡改身份、伪造证据，甚至误导观众（卡达等人，2025）。随着虚拟环境中此类内容泛滥，识别图像篡改痕迹已成为当务之急。在现代局部编辑技术背景下，图像伪造定位（IFL）面临巨大挑战——那些细微逼真的增删操作常常能逃过人类感知。图1展示了来自纳米香蕉（Gemini 2.5 Flash Comanici等人，2025）的典型篡改案例及其预测结果。

image-20251120222055726

​  传统图像流形框架（Legacy IFL）主要针对剪接和复制-移动操作（Kwon等，2021）。通过利用编辑检测和定位的特征信号——即法医线索，该框架能够识别跨图像合并和图像内重复。然而，包括DALL-E等扩散模型在内的现代生成器技术，使得传统线索和方法逐渐过时（Ramesh等，2022；Zhang等，2024）。传统IFL的设计原理依赖于相机或压缩产生的伪影，而现代生成模型由于其伪影源自生成过程，因此缺乏这些特征（Kwon等，2021；Guillaro等，2023）。最新扩散数据集揭示了显著的定位精度下降（Nguyen等，2024；Zhang等，2024）；生成模型的快速发展形成了动态目标，需要持续更新的数据和训练。

​  由扩散模型引发的范式转变，推动了对更强有力的取证线索研究热潮。其中部分研究在无需训练（Ricker等，2024；Tsai等，2024a；He等，2024）和零样本（Cozzolino等，2024）方法上取得了实证成功，这些方法通过在基础模型的嵌入空间中引入显式扰动伪影来实现。图像基础模型通过大规模自监督学习（Dosovitskiy等，2021；Oquab等，2024）获取嵌入向量。此类嵌入向量揭示了扩散模型在遭遇高斯噪声或模糊等扰动时输出的分布偏移，为识别扩散编辑提供了强有力的取证线索。

​  近期发布的Segment Anything模型（SAM Kirillov等人，2023；SAM2 Ravi等人，2024）作为图像分割领域的专用基础模型，采用强大的大规模预训练编码器。该模型在下游任务中的表现尤为突出（Chen等人，2024），已成功应用于阴影与伪装检测（Jie和Zhang，2023；Meeran等人，2024）以及IFL。在IFL领域，SAM模型被重新定向用于伪造区域分割。目前SAM在IFL中的应用仍在不断拓展：现有方法（Kwon等人，2024；Zhang等人，2025）仍侧重传统伪造方法，而忽视了更具扩散特异性特征的线索。

​  当前IFL面临三个持久性问题：
​  1）现有方案普遍忽视现代编辑特征的法证线索，未能充分挖掘基础模型中蕴含的先验信息；
​  2）模型架构需支持实时整合新编辑数据，既能快速适应又可避免灾难性遗忘；
​  3）系统需在近期主流编辑器上保持高效，但实验数据表明新版本模型表现持续下滑，这表明需要持续更新训练和评估数据。

​  为此，我们提出Detective SAM框架——一个针对现代图像伪造检测（IFL）挑战的综合性解决方案。该框架基于两大核心突破：首先，通过大规模预训练的SAM2编码器可检测嵌入分布的偏移特征，将这种由扰动驱动的取证线索转化为SAM2的自动热图提示，有效解决问题1；其次，借助轻量级特征适配器（Chen等人，2024），将SAM2解码器从目标分割任务重新定向至伪造检测任务。在保持SAM2主干网络冻结不变的前提下，仅对自研模块进行训练，从而实现高效轻量级微调，支持新编辑器的持续迭代，完美解决问题2。图2直观展示了该架构与SAM2各模块间的交互关系。

image-20251120222334066

图2：Detective SAM流程图，其中白色部分为我们的可学习模块与流程，灰色部分为SAM2的冻结模块。输入参数包括：原始图像I、扰动图像I′i、热图提示M、自适应特征{eFs}及二值伪造掩码B。原始SAM2组件流程图详见附录B.2。

​  最后，我们通过AutoEditForge直接实现挑战3，确保训练和评估数据始终保持最新。AutoEditForge是一个自动化流程，能够对真实图像进行类人本地生成式编辑，并通过替换、移除、添加和局部修改四种方法生成像素级精准的蒙版。该工具与Detective SAM形成协同效应：AutoEditForge持续提供新鲜的编辑后真实图像对，既支持评估又便于快速调整。
​  我们在生成式编辑领域对IFL的贡献如下：

  1. SAM检测架构
    我们在SAM2框架基础上扩展了图像伪造检测任务，具体包含：(i) 以扰动驱动的特征嵌入作为取证信号，（ii）专为伪造区域分割优化的轻量级适配器，以及（iii）可学习的提示模块——该模块通过将特征嵌入映射为热图提示，引导SAM2自动定位伪造区域。

  2. 用于微调和评估的SAM检测器
    AutoEditForge作为基于指令的本地编辑自动化流程（支持替换/删除/添加/局部修改），可随编辑器迭代保持数据同步，实现持续微调与性能评估。配合Detective SAM的轻量级适配器，该系统能在保留原有性能的同时，快速恢复新编辑器的IoU/F1等关键指标。
    3. 综合评价方法
    Detective SAM在七个基准数据集上进行了基准测试，提供了强大且稳定的分布外（OOD）结果，与最佳基线相比，平均 OOD IoU提高了33.67%。我们证明了定位器在最近的扩散编辑中会崩溃，需要持续的微调。

2 相关工作

3 Detective SAM

​  我们研究图像伪造检测任务，给定一个包含三个通道的RGB图像I∈R³×H×W（高度H、宽度W），目标是预测一个二值掩码B∈{0,1}H×W，其中Bij=1表示像素（i，j）被编辑/篡改，否则为0。本研究严格聚焦于基于扩散的图像编辑流程生成的篡改。扩散模型通过处理指令来生成源图像的局部篡改，如图1所示。保持篡改区域周围不变的方法包括覆盖掩码内的潜在变量，或仅在被掩码区域注入噪声（Wu等，2025；Lugmayr等，2022）。

3.1 总览

​  Detective SAM通过引入扰动驱动的特征流和轻量级适配器，对SAM2（Ravi等，2024）进行增强，同时保持其主干结构不变。特征适配器用于微调SAM2的解码器，而掩码适配器则对解码器进行提示。这种设计使解码器及其输入与伪造检测任务保持一致。该架构包含三个步骤：1. 生成扰动嵌入特征；2. 通过特征适配器将原始特征与扰动特征进行校正；3. 最后利用所有特征通过掩码适配器生成取证热图提示，具体步骤如图2所示。接下来我们将更详细地描述该过程，有关符号说明的概述请参见附录A。

3.2 模型体系结构

​  我们基于SAM2（Ravi等人，2024）构建模型，这是一个可提示的图像/视频分割器，其特征包括：hiera图像编码器（Ryali等人，2023）在三个空间尺度上生成嵌入向量，提示编码器用于处理点、框或热图，以及一个输入提示和多尺度特征的掩码解码器。SAM2的骨干网络（hiera编码器、提示编码器、掩码解码器）保持冻结。我们的轻量级适配器联合训练，结果包括：
​  (i)三个特征适配器（针对所有三个hiera尺度），它们将扰动后的图像嵌入向量作为法医线索，并执行∆Fs校正以输出适应后的特征{Fs}；
​  (ii)一个掩码适配器，由自动提示网络组成，为解码器生成热图M。
​  特征适配器为单卷积层，而掩码适配器包含一个在降尺度嵌入空间中操作的变压器，以保持模型参数数量适中：层宽为64时，特征适配器使用81k参数，掩码适配器使用887k参数。这意味着该模型可以在 NVIDIA H100 GPU上用两小时完成训练。

​  输入和编码
​  作为第一步，我们为适配器模块构建了法医特征嵌入。给定输入图像I，我们使用简单的图像空间操作符Perturbi(), i = 1, ..., N（例如高斯模糊、高斯噪声和JPEG压缩）生成N个扰动图像Ii‘ = Perturbi(I;θ)，其中扰动参数为 θ 。扩散模型在这种扰动下显示出嵌入偏移（He等，2024；Tsai等，2024b）。Detective SAM利用这些作为法医线索，以定位先验的形式。
​  I和Ii′均由冻结的SAM2层级编码器（Ryali等人，2023）编码，生成嵌入向量{FsI，FIsi}，在层级尺度（S=32,64,128）上以（H，W）=（512,512）分辨率输出。为匹配SAM2解码器预期的图像格式，我们采用SAM2的冻结无记忆（图像）嵌入进行填充（s=32），并使用SAM2的冻结卷积处理层Fs=ConvSAM（Xs）处理s∈{64,128}。为简洁起见且不损失一般性，我们仅采用单一扰动I′1，从而在不同层级生成六个特征嵌入向量{FsI，FIsi}。

​  特征适配器（delta校正）
​  接下来，我们使用经过取证扰动的特征嵌入{F I ′ s 1}对基础特征嵌入{Fs I}进行校正，使解码器专注于伪造物定位而非通用对象分割。我们通过轻量级特征适配器{As}实现这一目标，该适配器将基础特征与扰动特征{Fs I，F I ′ s 1}拼接输入，生成残差增量校正。这些∆Fs校正通过残差连接用于调整未扰动特征，从而生成特征； \[\widetilde{F}_{s}\ =\ F_{s}^{Z}+\Delta F_{s},\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \Delta F_{s}=A_{s}\big(\{F_{s}^{Z},F_{s}^{Z^{\prime}}\}\big),\] 其中注入SAM2解码器的特征遵循Chen等人（2024）提出的架构。特征适配器采用单层1×1卷积网络，将冻结的SAM2解码器专门化为下游IFL任务，同时保持最小的开销。

​  Mask适配器（自动提示）。
​  通过专门针对IFL任务设计的解码器，我们用一个基于法医线索生成自动热图提示M的掩码适配器替换了SAM2的手动用户提示。这种提示可以是点、边界框或热图。我们选择热图是因为它能反映法医信号的空间结构。相比之下，基于点或框的提示大多忽略了这些信息。掩码适配器将所有特征映射到适合SAM解码器的热图提示M中。它接收所有特征{Fs I ，Fs I′1 ， Fˆs}，首先通过双线性上采样将它们转换到一个共同的精细网格 sˆ = max S。然后我们进行跨尺度、跨流的卷积融合，以获得统一的特征张量Ffuse ∈ R d× ˆs × ˆs 。这种融合在空间上与HRNet（Wang等，2020）一致，并且由于浅层跨尺度混合而轻量级。
​  为了确保全局一致性，我们在粗分辨率下使用了一个轻量级的变压器；其自注意力机制聚合了补丁标记之间的上下文，并抑制空间不一致的伪造估计，具体示例见附录B.3。以输入Ffuse为例，变压器在降采样、补丁化的表示上操作，生成低分辨率的粗略逻辑值Lcoarse和不确定性逻辑值图U ∈ R ˆs × ˆs 。其中，降采样因子被视为超参数。两者均被重新上采样回公共网格 sˆ ，得到Lcoarse ∈ R ˆs × ˆs 和U ∈ R ˆs × ˆs 。
​  恢复精细边界需要将高层次上下文与局部细节结合；我们通过线性空间门控混合上下文来实现这一点，如（Chen等，2016）所述。我们通过两层卷积网络从Ffuse生成精细逻辑值Lrefine ∈ R ˆs × ˆs 。最后，我们应用空间门g ∈ [0,1] sˆ × sˆ 在线性混合精细和粗略预测到解码器掩码中： \[\mathcal{M}\ =\ g\,L_{\mathrm{refine}}+(1-g)\,L_{\mathrm{coarse}}.\] ​  g门是一个1 × 1卷积层，后接一个Sigmoid函数，输入[Lcoarse，U]，在粗略掩码自信（或不确定）的区域降低精细度，防止未编辑区域过度锐化，同时允许在需要时进行细节修正。

​  Mask解码器
​  在解码之前，我们将热图提示M和适应性特征{Fes}进行双线性上采样至256×256，以生成更精细的掩模，并将其输入冻结的SAM2掩模解码器以获得256×256的伪造概率 Mˆ 。我们选择256×256是因为它接近我们数据中的最小图像分辨率，这有助于避免最终二进制掩模中出现极端的外推伪影。最后，严格遵循SAM2的方法，我们将 Mˆ 进行双线性上采样至图像分辨率，并通过Sigmoid操作将其转换为概率图： σ（Mˆ）。最终的伪造二进制掩模为B = 1{ σ(Mˆ)>= 1/2 }。

​  损失函数
​  训练掩码和特征适配器遵循SAM2的目标（Chen等，2024），结合了焦点损失（Lin等，2018）、Dice损失和IoU损失。Dice损失通过惩罚预测掩码与真实掩码的归一化差异，最大化两者之间的重叠区域。焦点损失进一步解决了信息伪造任务（IFL）中的类别不平衡问题。IoU损失通过伪造掩码的L1损失训练SAM2的IoU预测头。所有损失函数均以真实掩码和模型预测掩码作为输入，预测掩码仅基于篡改后的图像计算得出。正式而言，我们的最终目标是 \[\mathcal{L}=\mathcal{L}_{\mathrm{Dice}}+\lambda_{\mathrm{focal}}\mathcal{L}_{\mathrm{focal}}^{\alpha,\gamma}+\lambda_{\mathrm{IoU}}\mathcal{L}_{\mathrm{IoU}}.\] ​  聚焦参数 γ >= 0 降低了分类良好的样本的权重。平衡因子 α ∈ [0,1] 重新加权正负样本以对抗类别不平衡。我们借鉴了 SAM2 论文（Ravi 等，2024）中的 λfocal = 20，λIoU = 1 并扫描（α ，γ）。

3.3 AUTOEDITFORGE： 由 AUTOMATING AI 驱动的编辑为Detective SAM 加油

​  为了应对伪造定位模型中高质量、最新测试和微调数据的严重短缺，我们引入了AutoEditForge，这是一种用于持续改进图像伪造鲁棒性的新型自动化基础设施。这个完全自动化的流程生成具有像素级精确分割掩码的真实图像编辑。与现有的合成数据集不同，这些数据集要么受限于劳动密集型的手动标注而影响规模，要么通过简单的修复技术牺牲真实感（Kwon等，2024），AutoEditForge利用最先进的（SOTA）扩散模型来模拟人类风格编辑的多样性，从而实现持续评估和微调。AutoEditForge采用两阶段架构，将轻量级分析与计算密集型编辑操作分离，从而实现大规模图像批次的高效处理。

​  第一阶段：分析与决策。
​  第二阶段：图像分割与图像修复。

​  Detective SAM 和AutoEditForge
​  AutoEditForge持续输出基于最新生成式编辑模型的逼真指令引导编辑流。Detective SAM通过适配器微调技术吸收这些编辑流，将冻结的SAM2解码器及其提示与当前编辑技术分布相匹配。由此形成实用的终身学习循环：在新编辑中评估效果、发现错误、微调适配器并重新部署，同时保持主干架构固定，确保在不断演进的编辑器和指令中保持稳健性。

4 实验

​  测试设置
​  我们的结果分为三个阶段：
​  (1) 域内（ID）：在训练集的样本外测试集上进行测试。
​  (2) 域外（OOD）：在完全未见过的测试集上进行测试，以公平地与基线方法进行比较。
​  (3) 微调：在各自数据集的500个样本上对预训练的Detective SAM进行微调，以评估适应效率。

5 结论

​  Detective SAM在基于扩散的伪造检测领域取得突破性进展，其平均分布外交集（IoU）值达到36.99，较传统分布外基线方法提升33.67%，且在三个测试集上均表现优异。研究证实，当存在强显式扰动法取证信号时，基于扩散的伪造检测系统（IFL）凭借其稳健的分割框架展现出更优性能。此外，持续微调的有效性已被确立为新型扩散编辑器发展的必要前提，而AutoEditForge系统正是这一过程的有力推动者。

​  局限性。
​  我们依赖扰动驱动的线索，这使得模型性能对特定线索和扰动强度都存在敏感性。后续研究应重点探索自适应扰动技术。传统复制-移动和剪接伪造技术不会产生类似的扩散敏感伪影，因此需要采用不同的信号特征和更广泛的训练数据进行验证。一个可快速部署的模型应当通过在完全合成图像和真实图像上进行训练，以降低误判率。

​  通过阐明这些关键步骤，我们旨在推动增量式学习（IFL）领域的发展，使其与不断演进的生成式编辑工具保持同步。