[PED06]Kernel Clustering: Density Biases and Solutions

四：

通过复制点改变密度。
用过密度转换求得带宽

第三遍：Question:

• 2.continuous Gini citerarion
  离散的点怎么看做连续的问题？
  conditional probability density ρ 怎么理解？为什么要用条件概率密度呢？假设核密度估计=条件概率密度 本质上是对核带宽的一个假设，假设核带宽可以给出和准确的密度估计？？（24）

• 2.2 密度最大的点为s1，其余为s2

  
  
  在这里插入图片描述
• 4.2 metric tensor g(f)什么含义？
  |det(gp)|？是将黎曼空间转化为欧式空间？为了密度均衡？但是这样样本的每个分量的贡献不就是相同的了嘛？

第二遍：

证明kernel K-means 在r-small条件下近似于连续基尼准则，而连续基尼准则具有Breiman's Bias，所以kernel k-means也有Breiman's Bias。Bias的最优解是将密度大的聚为一类，其他的为另一类。
解决这个问题的方法是密度均衡方法：第一种通过增加低密度点的密度来实现（adaptive point weight，第二种是通过密度转换在新的空间达到密度均衡（adaptive geodesic kernel

第一遍：现象：

• 首先介绍了一系列的聚类准则，kernel k-means等价于AA，他们都有Breiman's Bias；倾向于将密度最大的一部分聚为一类，其余的为另一类。

  
  
  在这里插入图片描述

• NC（相当于加权的kernel k-means），他虽然解决了graph cut中opposite density bias，也就是倾向于切割密度最小的孤立的点这个问题，
  

  在这里插入图片描述

• 但是他的normalization还是不够彻底，还是会有一些bias，比如self-tune这篇中提到的多个规模的数据的情况下。

  
  
  在这里插入图片描述
  
  
  在这里插入图片描述

证明：
证明了在核函数满足一定形式的情况下，kernel k-means可以用kernel density estimate的形式来表示。

在这里插入图片描述

介绍了概率k-means，这是基于模型的聚类方法，如果使用高描述性的参数模型来描述的话（如GMM），概率K-means可以用标准熵准则近似。熵准则可以近似为Gini准则，离散的基尼准则有bias

在这里插入图片描述

在r-small条件下，kernel K-means可以近似为连续基尼准则。r-small是指条件概率密度=核密度，实际上是对核带宽的假设，该核带宽可以给出一个准确的密度估计（用以密度估计的带宽≠用于聚类的带宽）
证明连续基尼准则有bias，那么与其近似的kernel K-means也有bias。
（理论证明）

• 提出方法
  1、通过adaptive point weight修改低密度点的密度。密度越小，权重越大，增加的点越多。
  
  在这里插入图片描述
  
  
  在这里插入图片描述
  
  2、adaptive kernel
  定理：黎曼距离的自适应核=嵌入到欧几里得空间的固定带宽的核。存在欧几里得embedding，从欧式空间到N'空间，对于欧式空间的任意一点p，对应于N'空间的fp'，有N'空间中与p点的距离=在欧几里得空间中pq的距离。

根据这个定理可以得到:

在这里插入图片描述

那么就涉及到密度转换函数的选择、密度估计方法

在这里插入图片描述

• NC
  NC使用密度逆转的方法，可以转化为Breiman's Bias问题
  
  在这里插入图片描述
• 统一
  对于自适应方法，NC、AA、AC都是等价的。