Deep Clustering: A Comprehensive Survey

Yazhou Ren, Member, IEEE, Jingyu Pu, Zhimeng Yang, Jie Xu, Guofeng Li, Xiaorong Pu, Philip S. Yu, Fellow, IEEE, Lifang He, Member, IEEE

摘要

聚类分析在机器学习和数据挖掘中起着不可或缺的作用。学习一个好的数据表示对聚类算法至关重要。近年来，深度聚类可以利用深度神经网络学习聚类友好表示，已广泛应用于聚类任务。现有的深度聚类调查主要集中在单视图领域和网络架构上，忽略了聚类的复杂应用场景。为了解决这个问题，在本文中，我们提供了一个全面的调查，以深度聚类的视图的数据源。在不同的数据源和初始条件下，我们从方法学、先验知识和体系结构等方面系统地区分了聚类方法。具体地说，根据传统的单视角深度聚类、半监督深度聚类、深度多视图聚类和深度转移聚类四种深度聚类方法。最后，我们讨论了深度聚类在不同领域中所面临的开放挑战和潜在的未来机遇。

引言

深度单视图聚类

通过深度神经网络（DNNs）提取这些数据的表示形式是深度聚类的一个重要特征。然而，更值得注意的是不同的应用深度学习技术，它们与DNNs的结构高度相关。为了比较特定dnn的技术路线，我们将这些算法分为五类：基于深度自动编码器（DAE, deep autoencoder）的深度聚类，基于深度神经网络（DNN, deep neural network）的深度聚类、基于变分自编码器（VAE, variational autoencoder）的深度聚类、基于生成对抗网络（GAN, generative adversarial

network）的深度聚类和基于图神经网络（GNN, graph nerual network）的深度聚类。

基于半监督学习的深度聚类

当待处理的数据包含一小部分先验约束时，传统的聚类方法不能有效地利用这些先验信息，而半监督聚类是解决这一问题的有效方法。目前，深度半监督聚类的研究还没有得到很好的探索。然而，半监督聚类是不可避免的，因为通过在模型中添加附加信息作为约束损失，使聚类方法成为半监督聚类方法是可行的

基于多视图学习的深度聚类

在现实世界中，数据通常来自不同的特征收集器或具有不同的结构。我们称这些数据为“多视图数据”或“多模态数据”，其中每个样本都有多个表示。基于多视图学习的深度聚类的目的是利用多视图数据中包含的一致和互补的信息来提高聚类性能。此外，多视图学习的思想可能对深度单视图聚类具有指导意义。在本调查中，我们将深度多视图聚类分为三类：基于深度嵌入式聚类、基于子空间聚类和基于图神经网络。

基于迁移学习的深度聚类

对于实例数量有限和高维度的任务，有时我们可以找到一个助手来提供额外的信息。例如，如果任务A类似于另一个任务B和B有更多的信息集群（B标记或B更容易集群），这是有用的转移信息从B转移学习无监督域适应（UDA）近年来提高，其中包含两个域：源域标签和未标记的目标域。迁移学习的目标是将从源任务中学习到的知识或模式应用到一个不同但相关的目标任务中。基于迁移学习的深度聚类方法旨在利用相关任务的信息来提高当前聚类任务的性能。

在研究相应的聚类方法之前，有必要注意聚类数据的不同特征和条件。在本综述中，对现有的数据源和初始条件下的深度聚类方法系统地进行了分类。分析了不同聚类方法的优缺点和适用条件。最后，我们提出了在深度聚类领域的一些有趣的研究方向。

定义和初步

我们将在本节中介绍这些符号。在本文中，我们用大写字母表示矩阵，用小写字母表示向量。除非另有说明，本文中使用的符号总结在表1中。本调查将介绍四种基于不同背景条件的深度聚类问题。在这里，我们正式地定义了这些问题。给定一组数据样本X，我们的目标是找到一个可以将X映射到k簇的映射函数F。映射结果用Yˆ表示。所以我们要处理的任务是：

Deep single-view clustering: \[F\left(X\right)\to\hat{Y}\] Semi-supervised deep clustering: \[F\left(X,A\right)\to\hat{Y}\] 其中A是一个约束矩阵。

Deep multi-view clustering: \[F\begin{pmatrix}X^1,...,X^n\end{pmatrix}\to\hat{Y}\] 其中，Xi是X的第i个视图。

Deep clustering with domain adaptation: \[F\left(X^s,Y^s,X^t\right)\to\hat{Y}\] 其中（Xs、Y s）为已标记的源域，Xt为未标记的目标域。