Distribution Prototype Diffusion Learning for Open-set Supervised Anomaly Detection
Distribution Prototype Diffusion Learning for Open-set Supervised Anomaly Detection
Fuyun Wang1 , Tong Zhang1*, Yuanzhi Wang1 , Yide Qiu1 , Xin Liu2 , Xu Guo1 , Zhen Cui3* 1中国南京理工大学 2中国南京SeetaCloud科技 3中国北京师范大学
摘要
在开放集监督异常检测（OSAD）领域，现有方法通常通过生成伪异常样本来弥补观测异常样本的稀缺性，却忽视了正常样本的关键先验特征，导致判别边界效果欠佳。为解决这一问题，我们提出了一种分布原型扩散学习（DPDL）方法，旨在将正常样本封装在紧凑且具有判别能力的分布空间内。具体而言，我们构建多个可学习的高斯原型来为丰富多样的正常样本创建潜在表示空间，并学习薛定谔桥机制以促进正常样本向这些原型的扩散迁移，同时引导异常样本远离目标区域。此外，为增强样本间分离度，我们在超球面空间中设计了离散度特征学习方案，这有助于识别离分布异常样本。实验结果表明，所提出的 DPDL 方法具有显著优势，在9个公开数据集上均取得了业界领先的表现。
1.引言
异常检测（AD）[15,21,48,50]旨在识别数据集中显著偏离主流样本的异常值，其应用场景涵盖工业检测、医学图像分析及科学发现等领域。近年来，无监督异常检测（UAD）[6,11,26,28]与小样本异常检测（FSAD）[12,21,22]已成为主流研究范式，其核心在于通过建模正常样本分布来有效识别异常值。然而，这些方法往往忽视有限异常样本中的先验知识，导致正常样本边界划分不够精确，且在区分正常样本与异常样本时效果欠佳。相比之下，监督异常检测（SAD）[2,20,47]通过利用有限异常样本子集作为先验知识，显著提升了检测性能。但这种对已知异常样本的依赖存在过拟合风险，会阻碍模型在真实场景中对未知异常样本的泛化能力。 为缓解闭集训练中固有的泛化能力不足问题，我们聚焦于开放集监督异常检测（OSAD）[1,27,51,52]方法。该方法通过在训练阶段利用少量已知异常类别，从开放集数据中识别未见过的异常。借助已观测样本的先验知识， OSAD 方法可有效降低误报率。为提升对未知异常的泛化检测能力，DRA[9]采用数据增强与离群值暴露技术，构建包含已知异常、伪异常及潜在残余异常的分解式异常表征模型。 BGAD [47]则利用归一化流模型生成的决策边界来捕捉并建模异常信息。最新研究中，AHL[51]通过模拟异质性异常分布并实施协同可微学习，进一步增强了模型的泛化能力。 尽管数据增强技术和异常值暴露方法[9,19,34]在异常检测领域已取得显著成效，但它们在生成全面的伪异常样本时仍存在局限性，仅能捕捉到部分潜在未见异常。这种局限性源于未能充分考虑现实世界异常分布的复杂特性，从而制约了模型对新型异常类型的泛化能力。虽然AHL[51]通过模拟异质性异常分布已在该领域取得突破，但其仍依赖已知分布外异常样本对未知分布外异常进行近似建模以实现泛化。 然而，三个关键问题依然存在： i) 由于异常分布具有尺度和结构的多样性，该模拟机制无法涵盖所有异常分布模式； ii) 模拟异常继承了分布内数据偏差，导致对分布外异常的性能表现欠佳； iii) 正常样本的多样性给现有方法带来挑战，使得正常样本与异常样本边界区分变得更加复杂。 这些问题引出了一个根本性问题：我们如何在多种不同分布的正常样本中准确刻画紧凑分布边界，从而生成伪异常样本和不确定异常样本，进而实现对未知分布外异常的稳健泛化？ 为解决上述问题，本研究提出了一种用于开放集监督异常检测的分布原型扩散学习（DPDL，Distribution Prototype Diffusion Learning）方法。针对正常样本数量庞大且类型多样但异常数据极为有限的场景，我们的方法通过学习潜在分布原型（具体为多个高斯分布），使所有观测到的正常样本都能有效投影到该原型空间。为实现正常样本向原型空间的映射，我们采用薛定谔桥（SB，Schrodinger bridge）框架，通过使样本分布与原型分布对齐来实现扩散式迁移。基于SB的扩散机制能在一定程度上缓解正常样本的分布外问题。在分布原型空间中，我们将观测到的异常样本与正常样本进行空间位移以提升判别能力。值得注意的是，原型学习与扩散桥学习采用联合训练策略，从而为正常样本构建了稳健的嵌入空间。此外，为增强对未知异常域的泛化能力，我们引入了离散特征学习机制，通过von Mises-Fisher（vMF）分布混合模型将中间特征映射至超球面空间。该方法强化了方向性特征提取能力，促进了样本间的鲁棒分离，有效提升了离散样本的识别效果。实验结果表明，本方法显著提升了对未知异常样本的检测能力。 综上所述，我们的研究贡献主要体现在三个方面： i) 提出了一种分布原型扩散学习框架，该框架通过联合学习多个高斯原型及其对应的扩散桥，构建出紧凑且具有区分度的嵌入空间； ii) 在超球面空间中开发了离散特征学习方法，有效增强了样本间分离度并提升了泛化能力； iii) 在9个公开数据集上取得业界领先性能，充分验证了我们方法的有效性。
2.相关工作
开放集监督异常检测。 开放集监督异常检测（OSAD）致力于构建一种鲁棒的异常检测框架，该框架能够从有限的训练异常样本中进行泛化，从而在开放集场景下有效识别未见过的异常[1,27,35,47,52]。现代 OSAD 方法通过利用已观测异常提供的先验知识，显著降低了误报率，从而提升整体检测性能[9,51]。近期研究中，DRA[9]通过学习观测异常、伪异常和残余异常的解耦表示，增强了对已知与未知异常的检测能力。相比之下，AHL[51]通过模拟多样化的异质性异常分布并采用协同可微学习方法，显著提升了模型的泛化能力。 薛定谔桥模型。 薛定谔桥（SB）被广泛认为是熵正则化最优传输（OT，optimal transport）问题，其核心在于学习一个随机过程——该过程在参考测度的影响下，从初始概率分布演化至目标分布[5,7,16,18,23,24,38]。该方法常用于内容生成领域，正如先前生成模型所采用的策略[30,42–45]。I2-SB[25]和 UNSB [14]通过学习两个给定分布之间的非线性扩散过程，或将SB问题转化为一系列对抗学习任务来实现图像变换目标。近期，LightSB[10,17]提出了一种新颖、快速且简洁的SB求解器，通过高斯混合参数化调整后的薛定谔势函数，在实际应用中实现了最优匹配效果。
3.预备知识
我们重点研究如何建立两个分布p0和p1之间的关联，这两个分布被定义为具有有限二阶矩的绝对连续Borel概率分布。基于熵正则化最优传输（EOT，entropy-regularized optimal transport）[5,7,10,16–18,23,24,33,38]的研究基础，我们系统梳理了 EOT 的相关性质，并探讨了带有Wiener先验的薛定谔桥（SB）问题。
熵正则化最优传输（EOT）。 给定两个点集Z0和Z1，我们需确定任意两点z0∈Z0与z1∈Z1之间的最优传输成本。该问题可表述为一个参数 \eps>0的 EOT 问题，即通过最小化以下目标函数来实现：