论文阅读“Multi-VAE: Learning Disentangled View-common and View-peculiar Visual Representations for MvC”

Xu J, Ren Y, Tang H, et al. Multi-VAE: Learning disentangled view-common and view-peculiar visual representations for multi-view clustering[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 9234-9243.

摘要导读

作者表示当前的多视图聚类任务经常通过融合多个视图表示或在一个共同的特征空间中处理聚类，这可能会导致各种特征纠缠在一起，特别是在视觉表示中。本文提出了一个基于VAE的多视图聚类框架来学习视图表示，总体来说在生成模型中引入了一个视图共有变量和多个视图特有变量。具体来说，视图共有变量先验近似服从离散的Gumbel Softmax分布，用于抽取多个视图中共享的类簇因子。同时，视图特有变量先验服从连续高斯分布，以学习各视图的特定的视觉特征。通过控制互信息来解耦视图共享表示和视图特有表示，这样离散的类簇信息和连续的视图信息将会被很好的挖掘。

模型浅析

• 问题声明
  给定多视图图像数据集，每个样本包含个视图分别包含不同的视觉信息，是数据集的大小。多视图聚类的目的是将综合给定的视图特征降样本分配到个类簇中。

• 网络结构
  整体的动机是通过VAE学习解耦的多视图表示，具体做法是引入相互独立的视图共有变量和视图特有变量来建模多视图数据。也就是说，整个模型需要考虑如下的生成模型（联合概率）：其中，对应数据的类簇信息，由所有视图共享。则是每个视图对应的不同的特征。由此，可以得出，和的后验分别可以写成和，考虑到在VAE中难以计算后验的积分。在模型中使用和参数化和来近似真正的后验。

1. 推断过程
   在推断过程中，所有视图的嵌入表示被拼接到一起以学习数据的共有信息。随后，通过（i.e. ）个神经元获取视图共有向量。具体地说，为了轻松地表示数据的聚类分配，期望是一个one-hot表示。然而，离散随机变量对于神经网络的参数是不可微的。因此，本文中，被表示为相互独立均匀的Gumbel Softmax分布的乘积，其中。因此，近似后验表示为如下：。为了让整个过程变得可微，本文引入了Gumbel-Max重参数技巧：

   其中，和是温度参数。
   不同于类簇信息，模型假设其他的视图特有信息是连续的，每个变量的先验是标准正太分布，。被参数化为高斯因子乘积：
   同理，根据重参数技巧，有如下的等价表示：

2. 生成过程
   在生成的过程中，视图共有特征和视图特有特征拼接在一起生成对应的样本。即，给定视图的生成如下：

   在整个结构中，参数是部分共享的。

3. Multi-VAE-C：
   由于是one-hot表示的近似值，因此第个样本的类簇预测可以通过：

4. Multi-VAE-CZ：
   鉴于多个视图的视觉信息可能是类簇信息的补充，分离出的视图表示被缩放到[0,1]，并将它们拼接起来形成一个全局潜在表示, 然后将其喂入-means得到聚类分配。

• 变分下界
  变分推理的目的是最大化观察到的多视图数据的似然函数。
  作者在后续的推导中假设和是相互独立的，这一点我有点不理解。