论文阅读“Robust deep multi-view subspace clustering networks with a correntropy-induced metric”

Si, Xiaomeng & Yin, Qiyue & Zhao, Xiaojie & Yao, Li. (2022). Robust deep multi-view subspace clustering networks with a correntropy-induced metric. Applied Intelligence. 10.1007/s10489-022-03209-9.

摘要导读

由于多视图子空间聚类结合了深度学习的优势来捕获数据的非线性性质，因此其优越于浅层多视图子空间聚类方法。现有的方法大多假设 噪声引起的样本重构误差符合相应范数的先验分布，这样可以简化问题并将调整集中在自表示矩阵的正则化上，以充分利用不同视图之间的一致和不同的信息。然而，在不同的数据视图中噪声分布总是非常复杂的，而且实际上噪声分布并不一定符合这一假设。此外，常用的基于value-awareness的多样性正则化来增强不同视图表示之间的多样性也不够准确。为了缓解上述缺陷，本文提出了一种具有相关熵诱导度量的鲁棒深度多视图子空间聚类网络（Robust Deep Multi-view Subspace Clustering Networks with a correntropy-induced metric, RDMSCNet）,（1）利用 correntropy-induced metric (CIM)，以数据驱动的方式灵活处理各种复杂的噪声分布，以提高模型的鲁棒性；（2）采用基于排他性定义的位置感知多样性正则化方法，来加强不同视图表示的多样性，以同时建模一致性和多样性。

从其切入的两个点来看，本来所构造的模型主要包含两个模块：（1） a multi-view feature extraction module and （2）a self-representation embedding module。 多视图特征提取模块（multi-view feature extraction module）用于学习数据的非线性特征表示。自表示嵌入模块（self-representation embedding module）的目的是最小化各种复杂噪声的影响，并同时挖掘不同视图之间的一致性和多样性的信息。

模型浅析

• 相关定义
  （1）Exclusivity （排他性）
  理想情况下，当矩阵的某个位置上的元素为非零时, 在排他约束下，的同一位置需满足。换句话说，排他性定义对两个矩阵的零元素的放置方式不同。因此，本文认为排他性是position-aware。
  （2）Correntropy（熵）
  在本文中用到了CIM，相关定义为：
  其实关于CIM的使用已经被广泛应用，在本文中主要是在多视图聚类上的应用。

• 网络结构

1. Multi-View feature extraction module
   由于本文中处理的是图片数据，因此选用了卷积层代替全连接层构造该模块。将三个卷积层堆叠为编码器，提取层次特征，将三个卷积转置层堆叠为解码器，重构所获得的输入数据。其目标函数如下：
   包含编码器和解码器的所有参数，是解码器对视图输入的重构表示。
2. Self-representation embedding module
   对于子空间聚类而言，其自表示属性有如下的性质必然成立：同一类簇内的点在一个子空间中，并且它们的任意线性组合仍然在同一子空间中。受到子空间聚类方法的启发，本文利用一个全连接层，在自编码器的中间嵌入了一个自表示的嵌入模块，从而实现了自表示的特性：
   是视图所对应的encoder的输出，是该视图的自表示矩阵。由于每个视图都包含了view-specific表示和common表示，因此，可以被分解为 consistent
   self-representation matrix 和 specific self representation matrices 。因此上式可以被写成：
   在这里，应用Frobenius norm范数来约束一致的自表示矩阵：
   
   1）Diversity Regularization
   为了增强不同视图表示的多样性，增加了基于排他性定义的位置感知多样性正则化方法来约束特定的自表示矩阵（在MvDSCN中使用的HSCI准则）。在排他分条件下，矩阵和矩阵中的零元素的位置尽可能不同。因此可以得出结论，排他性的定义是位置敏感的。该多样性正则形式化为：
   由于范数是非凸的和不连续的，所以使用范数代替范数，使目标函数更容易优化：
   
   2）Reconstruction Error Regularization
   为了降低数据中包含噪声，使得方法更为鲁棒。本文在自表示模块还引入了重构误差的正则项。首先以图的形式展示了CIM对于误差的鲁棒性：
   可以看到，由于CIM采用的是高斯核，因此其误差会被控制到0-1的范围之内，而MSE和绝对误差都会随着误差的增加会变的较为敏感。由此，可以看出异常值对于CIM的影响极为有限。基于CIM的重构误差可以写为：
   根据CIM的定义，这里的平方项只是为了让计算简便。

3. Overall objective

Setting the diagonal elements of matrices and to zero ensures that the sample does not need to be reconstructed by itself. This could assist in discovering the relationship between the samples instead of focusing on the relationship between the sample and itself.

然后使用得到的一致性矩阵和视图特有矩阵去构造亲和矩阵，用于谱聚类。

整体算法的优化如下：

---

该模型主要以数据为切入点：（1）子空间聚类中的自表示一致性和多样性；（2）数据中包含的噪声。采用不同的正则方式来修正深度网络对于特征的学习，从而学习出适用于谱聚类的亲和矩阵S。主要的两点是基于排他性对视图多样性的学习，以及基于CIM的噪声正则使得模型整体具有鲁棒性。