MOODv2:Masked Image Modeling for Out-of-Distribution Detection

MOODv2: Masked Image Modeling for Out-of-Distribution Detection

Jingyao Li ，Pengguang Chen ，Shaozuo Yu ，Shu Liu , Member, IEEE, and Jiaya Jia , Fellow, IEEE

摘要

​  有效检测分布外样本（OOD，out-of-distribution）的关键在于获取与 OOD 样本有区别的稳健分布内样本（ID，in-distribution）表征。虽然先前方法主要依赖基于识别的技术实现这一目标，但往往导致捷径式学习，缺乏全面的表征。在本研究中，我们通过探索不同的预训练任务并采用多种 OOD 评分函数，进行了全面分析。结果表明，通过重构预训练获得的特征表征显著提升了性能，并缩小了不同评分函数之间的差距。这说明即使简单的评分函数，在利用基于重构的预训练任务时也能与复杂函数相媲美。基于重构的预训练任务能很好地适配各类评分函数，因此具有广阔的应用前景。我们的 OOD 检测框架MOODv2采用了掩码图像建模预训练任务。不加修饰的MOODv2在ImageNet上将 AUROC 从14.30%提升至95.68%，在 CIFAR -10上达到99.98%的准确率，表现令人瞩目。

1.引言

​  可靠的视觉识别系统不仅能对已知上下文（即分布内数据）做出准确预测，还能检测未知的分布外（OOD）样本，并将其拒收（或转移）至人工干预以确保安全处理。这促使人们在将输入数据输入下游网络前应用异常检测器——这正是 OOD 检测的核心任务，该任务也被称为新奇性检测或异常检测。 OOD 检测旨在判断测试样本是否偏离分布内数据（ID）范围。作为医疗诊断[1]、欺诈检测[2]、自动驾驶[3]等安全关键领域的基石技术，该检测在[4] [5] [6]等场景中发挥着重要作用。构建具有代表性的分布内特征空间表示，对于实现分布外检测具有关键意义。精心设计的特征表示能显著提升主流 OOD 检测评分函数的性能。我们的研究致力于优化专为 OOD 检测设计的特征表示方法，以推动整个领域的发展。
​  现有方法通过对比学习[7] [8]或在大规模数据集上进行预训练分类[9] [10] [11] [12]来检测 OOD 样本。前者根据伪标签对图像进行分类，后者则基于真实标签进行分类，其核心任务都是满足分类目标。然而，后门攻击研究[13]表明，当学习过程被表征为对数据进行分类时，网络往往会走捷径进行图像分类。在典型的后门攻击场景[13]中，攻击者会在原始训练图像上添加带有明显正确标签的秘密触发器。在测试过程中，受害模型会将带有秘密触发器的图像错误分类。该领域的研究表明，网络仅学习不同类别间可区分的特定模式，因为这是满足分类要求的捷径。然而，学习这些模式对 OOD 检测效果不佳。因此，通过分类身份数据来学习 OOD 检测的表征可能并不理想。例如，当 OOD 样本中出现与某些身份类别相似的模式时，网络可能轻易将其误判为身份数据并错误分类，如图2所示。

image-20251112232724110

图2. 基于重构与基于分类方法的对比。在图像分类领域，神经网络常会走捷径进行图像分类[13]。例如，耳朵是区分猫狗的重要特征，传统分类模型通常假设尖耳朵的动物是猫，没有尖耳朵的则是狗。因此，当网络遇到分布外的动物（如长着尖耳朵的狐狸）时，很容易将其误判为猫。相比之下，基于重构的任务能有效缓解这一问题。通过随机遮蔽图像局部区域，模型避免学习局部化、刻板的特征（如被遮挡的耳朵），从而防止走捷径，转而获取有效的像素级特征表示。这显著提升了模型检测 OOD 实例的能力。

​  为解决这一问题，我们提出基于重构的预训练任务。不同于现有 OOD 检测方法[7] [8]中的对比学习，我们的方法通过强制网络实现图像重构的训练目标，从而使其学习像素级特征表示。具体而言，我们采用掩码图像建模（MIM）[14]作为自监督预训练任务，该方法在自然语言处理[15]和计算机视觉[14] [16]领域均展现出巨大潜力。在MIM任务中，部分图像块会被随机遮蔽。网络通过分析剩余图像块的信息，推测被遮蔽区域并还原原始图像的特征。这种重建机制使模型能够从有效的ID特征表示中学习，而不仅仅是通过分类过程学习不同类别间的模式差异。我们的研究发现，预训练模型在重建ID图像时表现优异，但在处理 OOD 领域时却表现出显著的领域差异（图4）。

image-20251112232925523

图4展示了每对图像由原始图像（左）和重建图像（右）组成。这些图像来自ImageNet [37]、Texture [34]、iNaturalist [35]、ImageNet-O [38]和OpenImage-O [33]等数据集。每对图像左上角的数字表示两者的欧氏距离。

​  这种视觉差异清晰揭示了ID与 OOD 数据在模型特征上的领域鸿沟，为 OOD 检测提供了重要参考。
​  为验证我们提出的ID特征表征方法的有效性，我们通过实验测试其在主流 OOD 检测评分函数中的表现。实验采用的概率型评分函数[17] [18]、逻辑值型评分函数[18] [19]、特征型评分函数[10] [20] [21]，以及结合逻辑值与特征的混合方法[10]。在涵盖经典分类[22]、对比学习[23] [24]和掩码图像建模预训练任务[14] [25]的对比分析中，我们的研究结果突显了基于重构策略在 OOD 检测领域的主导地位，如图1所示。

image-20251112233107451

图1展示了在四个 OOD 数据集上测试的平均 AUROC（%），这些数据集应用于具有不同预文本任务的ViT模型。蓝色方法使用特征空间，绿色方法使用logit值，黄色方法使用softmax概率，红色方法同时使用特征和logit值。星号标记表示各类方法的平均性能。

​  此外，我们对实验结果进行了全面分析，发现该方法不仅显著提升了整体性能，还大幅缩小了不同评分函数间的差异。这一发现表明，只要采用具有代表性的ID特征表示，即便是简单的评分函数也能达到与复杂函数相当的性能水平。这些发现进一步强调了有效特征表示在 OOD 检测中的关键作用。更多细节参见第三章B节。最终，MOODv2展现出显著提升，实现了14.30%的大幅增长，在ImageNet上达到95.68%的 AUROC 。在 CIFAR -10上，我们的结果显著提升至99.98%，相比之前的最先进水平提升了0.35%。

2.相关工作

A. 分布外检测

​  研究人员开发了多种评分函数，用于区分分布内样本与分布外样本。这些函数的设计旨在利用ID示例通常具备而 OOD 示例通常不具备的特性，反之亦然。这些评分主要来源于三个方面：

1. 基于概率的指标：此类指标包含最大softmax概率[17]、softmax与均值条件分布间的最小KL散度[18]等。
   2. 基于Logit的函数：这类函数依赖于最大对数几率[18]，以及对对数几率求和的对数和指数函数[19]等计算。
   3. 基于特征的方法：这类函数主要涉及特征与其低维嵌入预像之间的残差范数[26]，以及特征与类别质心之间的最小马氏距离[21]等指标。

​  在对性能及其与各类评分函数和预文本任务的相关性进行深入分析后，我们的研究采用了结合logit和特征的混合方法[10]，并将基于重构的方法作为预文本任务纳入。具体实现细节将在本文后续部分详细说明。

B. 自监督预训练任务

​  在计算机视觉和深度学习不断发展的领域中，人们设计了多种策略和技术来增强模型理解和处理视觉数据的能力：

1. 分类任务：视觉模型通过经典分类任务进行预训练[22]。
   2. 对比学习任务：MOCOv3 [23] 和 DINOv2 [24] 是用于自监督表征学习的先进对比学习方法。这些方法通过对比正样本对（例如同一图像的不同增强形式）与负样本对（例如不同图像的增强形式）来学习表征。MOCOv3 在MOCO框架 [27] 的基础上，通过引入动量编码器和动态队列来提升性能。DINOv2 则通过引入聚类教师网络和非对称损失函数，实现了高效表征的学习。
   3. 掩码图像建模任务：数据高效的图像变换器（BEiT系列[14]、[25]）属于自监督学习任务，其核心是掩码图像建模。这类任务通过随机遮蔽图像部分区域，要求模型预测被遮蔽像素，从而实现图像的自动补全。

​  这些方法和任务代表了计算机视觉和深度学习领域的前沿方法。它们极大地提高了模型从未标记数据中学习有用视觉表征的能力，从而在各种下游视觉任务中表现更好。
​  现有多种方法通过自监督任务指导 OOD 检测的表征学习。先前研究[7][8]采用对比学习模型作为特征提取器，但基于对比学习对转换图像进行分类的现有方法存在相似局限——模型往往学习到类别特定模式[13] [28]，这些模式虽有利于分类，却无助于理解内在身份表征。本研究通过为 OOD 检测实施掩码图像建模任务，有效解决了这一问题。

C. 训练战略

​  针对训练损失中的OOD感知问题，学界已开发出多种解决方案[29]。这些方法通常通过引入正则化项来增强ID与 OOD 特征间的区分能力[30] [31]。部分研究采用置信度估计分支，利用误分类的分布内样本作为分布外样本的代理[29]。MOS方法[31]通过引入预定义的组结构调整损失函数，使最小组别“else”类概率成为 OOD 分类的指标。另一种方案[30]则要求ID样本在训练过程中嵌入一维子空间的联合空间，并通过计算特征与类别子空间间的最小角度距离进行评估。
​  与这些方法不同，我们的方法属于无需重新训练的轻量级方法[10] [32]，因此不仅应用更直接，还能保持分布内分类的准确性。

D. MOODv1

​  我们先前的MOODv1版本[32]在 OOD 检测（MOOD）中引入了掩码图像建模预训练策略，并取得了令人鼓舞的成果。然而，仍存在以下问题：
​  首先，以往研究[7] [8] [32]通常需要针对每个分布内数据集对模型进行微调。当需要评估大量分布内数据集时（例如在单类 OOD 检测[7] [32]中），训练成本会显著攀升。然而通过实验验证，我们发现经过充分准备的掩码图像建模模型无需额外微调即可实现卓越检测性能，这在处理需要评估的海量分布内数据集时，能大幅节省微调资源消耗。
​  其次，随着该领域涌现出更先进的 OOD 评分函数[10] [17] [18] [19] [20] [21]和预训练技术[14] [22] [23] [24] [25]，人们不禁要问：掩码图像建模是否还能保持其领先地位？在MOODv2中，我们整合了预训练方法的最新进展，并采用一系列前沿 OOD 评分函数进行实验。这种更广泛的预训练方法和评分函数组合，使我们能够更全面地评估MOODv2的性能，使其更好地应对 OOD 检测日益复杂的挑战。
​  最后需要指出的是，众所周知，如果网络在训练过程中接触过相似样本（无论是否经过预训练或微调）， OOD 的性能表现将基本无差异[33]。先前研究[9] [32]依赖ImageNet-21K进行预训练，因此像 CIFAR [39]、Places[40]等基准 OOD 数据集，很可能已被ImageNet-21K[37]数据集所影响。本研究中，MOODv2引入了最新的非自然数据集 OOD ，从而彻底排除了 OOD 测试集与训练集存在重叠的可能性[33] [36]。
​  总体而言，MOODv2在多个方面实现了突破：改进了评分函数、采用了先进的预训练技术、扩展了非自然 OOD 数据集范围，并构建了精简通用框架。如图3所示，MOODv2相比MOODv1的性能提升尤为显著。在ImageNet数据集上，其 AUROC 指标较MOODv1提升了2.17%。更令人瞩目的是，在未对ID数据集进行微调的情况下，MOODv2在 CIFAR -10数据集上取得了高达99.98%的 AUROC 分数。

3.方法

​  本节首先阐述 OOD 检测任务重构的理论动机（见第三节A部分），随后在第三节B部分深入分析 OOD 检测中起关键作用的核心特征。

A.动机：寻求有效的ID表示

​  大多数先前的 OOD 方法通过分类[9] [17]或对比学习[7] [8]在身份样本上学习ID表示，这些方法利用真实标签或伪标签来监督分类网络。另一方面，[13]的研究表明，分类网络仅学习训练类别间的差异模式，因为这是实现分类的捷径。研究表明，网络实际上并未学习有效的分布内表示。相比之下，基于重构的预训练任务迫使网络在训练过程中学习ID图像的像素级表征以重建图像，而非用于分类的模式。通过这种方式，网络能够学习到ID数据集更具代表性的特征。
​  为验证这一结论，我们重建了ID和 OOD 数据，并计算原始图像与重建图像之间的欧氏距离。距离越大，说明重建图像与原始图像的偏差越大。我们收集了ID和 OOD 数据的恢复距离数据。图4展示了重建效果的对比示例。

image-20251112232925523

​  第一行ID图像中，预训练模型实现了有效重建。然而在后续行的非自然 OOD 图像中，明显出现了领域差异。例如在纹理图像中，模型仍保留着类似自然图像的光照与阴影特征；而在草图图像中，模型生成的图像则显得更平滑明亮。这种差异直观地凸显了ID与 OOD 数据在模型特征上的领域鸿沟，这一特性可被用于 OOD 检测。

B. OOD 检测的重建任务

​  本节将从 OOD 检测的角度，对这些关键要素进行系统性分析。我们以ImageNet [37]作为分布内数据集，并在OpenImage-O [33]、Texture [34]、iNaturalist [35]和ImageNet-O [36]等具有挑战性的非自然分布数据集上，对任务前文本进行评估。通过多种预训练方法和 OOD 评分函数（包括MSP[17]、Energy[19]、MaxLogit[18]、KL Matching[18]、Residual[10]、ReAct[20]、Mahalanobis[21]和ViM[10]）进行了广泛验证。

image-20251112234734134

​  实验结果如表II所示。数据显示，当采用所有评分函数时，掩码图像建模预训练任务的表现优于分类任务和对比学习任务。这些评分函数的平均 AUROC 值较基准模型提升了15.96%。使用最佳评分函数的模型性能提升了14.30%。这一显著成果归功于其对身份数据（ID）特征空间的代表性表征，有效区分了ID与 OOD 数据。该发现具有重要学术价值，因其能提升主流 OOD 检测评分函数的性能，从而推动整个领域的发展。我们还采用 CIFAR -10数据集[39]作为身份数据集，并在附录中提供了在线可获取的结果。我们的方法取得了99.99%的 AUROC 值，同时将FPR95值降至0.03%。

image-20251112235046860

图5展示了不同 OOD 检测算法在ViT模型上应用于非自然 OOD 数据集时的 AUROC（%）测试结果。预文本任务包括分类任务[22]、对比学习任务MoCov3[23]和DINOv2[24]，以及掩码图像建模任务BEiT系列[14] [25]。蓝色方法采用特征空间，绿色方法使用logit值，黄色方法利用softmax概率，红色方法则同时结合特征空间和logit值。星号表示对应颜色方法的平均 AUROC 值，浅色垂直线表示标准差。

​  为提升实验结果的可理解性，我们进行了全面的统计分析并以可视化形式呈现。如图5所示，我们的方法不仅显著提升了整体结果质量，还大幅降低了不同方法间的差异。以基于logit的ViT、MoCov3和DINOv2模型为例，其标准差分别为4.76%、5.04%和4.51%；而BEiT和BEiTv2模型则展现出更低的数值，分别降至0.13%和0.01%。这一发现表明，当采用有效的ID特征表示时，即便是简单的评分函数也能与复杂模型达到同等效果。

image-20251112235150718

​  在表I中，我们重点突出了各模型的最佳方法。在 CIFAR -10数据集上，所有模型采用特征与logit组合方法时均取得最佳效果，准确率接近100%。这表明模型对 CIFAR -10特征空间的把握非常到位。而在更大的ImageNet数据集上，我们观察到结果存在差异。值得注意的是，基于掩码图像建模的预训练模型在采用特征与logit组合方法时表现最佳，而其他模型则在概率型和特征型方法中更胜一筹。此外，我们的掩码图像建模预训练方法相比其他预训练策略展现出显著优势，这凸显了基于分类的预训练策略的局限性及其在有效利用高级评分函数方面的不足。这些发现强化了熟练特征表征在 OOD 检测中的关键作用。此外，为提供更详细的信息，我们在附录中提供了ID和 OOD 数据集的 OOD 评分分布曲线示意图，相关数据可在线获取。

C. 分布外掩膜图像建模v2

​  综上所述，本节研究发现：预训练模型在身份检测任务中表现优异，但在 OOD 场景中却暴露出显著的领域差异（图4）。这种视觉差异鲜明地揭示了身份检测与 OOD 数据在模型特征上的本质区别。深入分析实验结果表明，掩码图像建模作为预训练任务，不仅显著提升了整体性能，更有效缩小了不同评分函数间的差距。这些发现凸显了有效特征表征在 OOD 检测中的关键作用，证明通过掩码图像建模任务能够显著增强特征质量。
​  最后，我们提出面向分布外检测的掩码图像建模第二版（MOODv2）。该算法如算法1所示，主要包括以下阶段。

​  1) 使用预训练数据集，通过掩码图像建模对视觉编码器进行预训练。
​  2) 在内部数据集上对主干模型进行微调。
​  3) 从训练好的图像编码器中提取特征，并计算 OOD 检测的 OOD 分数距离。

​  在 OOD 评分函数方面，我们采用ViM[10]方法，该方法结合特征与logit值，并借鉴了掩码图像建模预训练模型的成果，该模型已展现出卓越性能。从数学角度而言，该评分函数可表示为

\[s(x)=\frac{e^{\alpha\sqrt{x^{T}R R^{T}x}}}{\sum_{i=1}^{C}e^{l_{i}}+e^{\alpha\sqrt{x^{T}R R^{T}x}}}.\] ​  其中，\(l_i\)表示训练集X中特征x的第i个logit值； \(\alpha\)为模型参数；\(R\in\mathbb{R}^{N\times(N-D)}\)是特征矩阵Q的倒数第D+1列（N为主成分维度），C为类别数量。

4.实验

​  本节将对我们的算法与最新 OOD 检测方法进行全面对比。我们采用ViT-B/16模型，该模型在ImageNet-21K数据集上进行预训练，并结合不同方法的预训练任务，最终在ImageNet-1K数据集上以224×224分辨率进行微调。
​  ID/ OOD 数据集：
​  我们选用 CIFAR -10[39]和ImageNet-1K[37]作为ID数据集。根据既定流程[10]，为估算ImageNet的主空间，我们从训练集中随机抽取20万张图像。实验中涉及的 OOD 数据集包括：

​  1) OpenImage-O是一个新近收集的大型 OOD 数据集[33]。
​  2) 纹理[34]包含自然纹理图像，其中四个重叠类别（气泡状、蜂窝状、蛛网状、螺旋状）因与ImageNet图像库重合而被移除。
​  3) iNaturalist [35] 是一个精细的物种分类数据集，我们采用了该数据集在先前研究[31]中选定的特定子集。
​  4) ImageNet-O [38] 数据集包含经过对抗性过滤的图像，旨在挑战 OOD 检测器。

​  尽管这些 OOD 数据集是专门设计的，旨在确保其不包含ImageNet中的任何类别，而非针对 CIFAR -10定制，但如附录所述， CIFAR -10中的每个类别在ImageNet中都有对应的类别，这些数据集可在线获取。因此，我们同样使用这些 OOD 数据集来处理 CIFAR -10。

​  评估指标：
​  我们采用两个常用指标 AUROC 和FPR95进行评估。 AUROC 是无阈值指标，表示接收者操作特征曲线下面积，数值越高表示检测性能越优。FPR95，或TPR95中的 FPR ，表示当真阳性率为95%时的假阳性率，FPR95越小越好。这两个指标都以百分比表示。

​  基线方法：
​  基于先前研究[10]，我们将MOODv2与无需微调的基准算法进行对比，包括MSP[17]、Energy[19]、MaxLogit[18]、KL Matching[18]、Residual、ReAct[20]和Mahalanobis[21]。

A. 单类 OOD 检测

B. 多类 OOD 检测

5.结论

​  在本研究中，我们聚焦于有效检测分布外样本（OOD）的关键环节——构建能够有效区分 OOD 样本与分布内样本的稳健表征。通过采用多种预训练任务并运用不同 OOD 评分函数进行系统性实验，研究发现：基于重构的预训练特征表征能显著提升模型性能，有效缩小不同评分函数间的性能差距。这表明即使采用简单的评分函数，在使用基于重构的预训练任务时也能达到复杂模型的同等效果。这些发现为 OOD 检测技术的进一步发展指明了方向。最终，我们提出了MOODv2 OOD 检测框架，通过采用掩码图像建模预训练任务，该框架在ImageNet数据集上实现了 AUROC 指标14.30%的显著提升，达到95.68%的准确率，并将 CIFAR -10指标大幅优化至99.98%。