[Machine Learning]聚类任务、性能度量、距离计算

  Note:本文系笔者学习机器学习过程中的学习笔记，期间加有个人的见解，如有错误，欢迎评论区留言讨论，共同进步。

一、聚类任务

  聚类，即根据数据的“相似性”将数据集中的样本划分成若干个通常是不相交的子集，每一个子集称为一个**“簇”（cluster）**；需注意，聚类过程仅能自动形成簇结构，簇所对应的概念语义需由使用者来把握和命名。

  形式化地说，假定样本集$D=\{{\mathrm{x}}_1,{\mathrm{x}}_2,...,{\mathrm{x}}_m\}$包含$m$个无标记样本，每个样本$x_i=(x_{i1};x_{i2};...;x_{in})$是一个$n$维特征向量，则聚类算法将文本集$D$划分为$k$个不相交的簇$\{C_l|l=1,2,...,k\}$，其中$C_{l^{\prime }}{\cap }_{l^{\prime }̸=l}{C}_l=\varnothing$且$D={\cup }_{l=1}^k{C}_l$.相应地，我们用${\lambda }_j\in \{1,2,...,k\}$表示样本$x_j$的**“簇标记”（cluster label）**，即$x_j\in C_{{\lambda }_j}$.于是，聚类的结果可用包含$m$个元素的簇标记向量$\lambda =({\lambda }_1;{\lambda }_2;...;{\lambda }_m)$表示。

  评估两个不同样本之间的“相似性”（即性能度量），通常使用的方法就是计算两个样本之间的“距离”（即距离计算）。使用不同的方法计算样本之间的距离会关系到聚类结果的好坏。

二、性能度量

  性能度量，即聚类的有效性指标（validity index）。根据聚类任务，我们希望得到的聚类结果是“簇内相似度”（intra-cluster similarity）高且“簇间相似度”（inter-cluster similarity）低。

2.1、“外部指标”（external index）

  对于数据集$D=\{{\mathrm{x}}_1,{\mathrm{x}}_2,...,{\mathrm{x}}_m\}$，假定通过聚类给出的簇划分为$C=\{C_1,C_2,...,C_k\}$，参考模型给出的簇划分为$C^{\ast }=\{C_1^{\ast },C_2^{\ast },...,C_s^{\ast }\}$.相应地，令$\lambda$与${\lambda }^{\ast }$分别表示与$C$和$C^{\ast }$对应的簇标记向量.我们将样本两两配对考虑，定义
$$a=\left|SS\right|,SS=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\},$$$$b=\left|SD\right|,SD=\{(x_i,x_j)|{\lambda }_i={\lambda }_j,{\lambda }_i^{\ast }̸={\lambda }_j^{\ast },i<j\},$$$$c=\left|DS\right|,DS=\{(x_i,x_j)|{\lambda }_i̸={\lambda }_j,{\lambda }_i^{\ast }={\lambda }_j^{\ast },i<j\},$$$$d=\left|DD\right|,DD=\{(x_i,x_j)|{\lambda }_i̸={\lambda }_j,{\lambda }_i^{\ast }̸={\lambda }_j^{\ast },i<j\},$$注：由于每个样本对$(x_i,x_j)(i<j)$仅能出现在一个集合中，因此有$a+b+c+d=m(m-1)/2$成立。
  一般地，我们有以下常用的聚类性能度量外部指标：

• $Jaccard$系数（Jaccard Coefficient，简称JC）$$JC=\frac{a}{a+b+c}$$
• $FM$指数（Fowlkes and Mallows Index，简称FMI）$$FMI=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$$
• $Rand$指数（Rand Index，简称RI）$$RI=\frac{2(a+d)}{m(m-1)}$$
    综上，上述性能度量的结果值均在$[0,1]$区间，值越大越好。

2.2、“内部指标”（internal index）

  对于聚类结果的簇划分$C=\{C_1,C_2,...,C_k\}$，定义$$avg(C)=\frac{2}{\left|C\right|(\left|C\right|-1)}{\sum }_{1\le i<j\le |C|}dist(x_i,x_j)$$$$diam(C)=\underset{1\le i<j\le |C|}{\max }dist(x_i,x_j)$$$$d_{\min }(C_i,C_j)=\underset{x_i\in C_i,x_j\in C_j}{\min }dist(x_i,x_j)$$$$d_{cen}(C_i,C_j)=dist({\mu }_i,{\mu }_j)$$
其中，$dist(\cdot ,\cdot )$计算两个样本之间的距离；$\mu$代表簇$C$的中心点$\mu =\frac{1}{|C|}{\sum }_{1\le i\le |C|}{x}_i$.显然，$avg(C)$对应于簇$C$内样本间的平均距离，$diam(C)$对应于簇$C$内样本间的最远距离，$d_{\min }(C_i,C_j)$对应于簇$C_i$与簇$C_j$最近样本间的距离，$d_{cen}(C_i,C_j)$对应于簇$C_i$与簇$C_j$中心点间的距离.
  一般地，我们有如下常用聚类性能度量内部指标：

• $DB$指数（Davies-Bouldin Index，简称DBI）$$DBI=\frac{1}{k}\sum _{i=1}^k\underset{j̸=i}{\max }\left(\frac{avg(C_i)+avg(C_j)}{d_{cen}({\mu }_i,{\mu }_j)}\right)$$
• $Dunn$指数（Dunn Index，简称DI）$$DI=\underset{1\le i\le k}{\min }\{\underset{j̸=k}{\min }(\frac{d_{\min }(C_i,C_j)}{{\max }_{1\le l\le k}diam(C_l)})\}$$
    综上，$DBI$值越小越好，$DI$值越大越好。

三、距离计算

3.1、距离度量

  对于$dist(\cdot ,\cdot )$，其距离度量（distance measure）满足：

• 非负性：$dist(x_i,x_j)\ge 0$
• 同一性：$dist(x_i,x_j)=0$，当且仅当$x_i=x_j$
• 对称性：$dist(x_i,x_j)=dist(x_j,x_i)$
• 直递性（三角不等式）：$dist(x_i,x_j)\le dist(x_i,x_k)+dist(x_k,x_j)$

3.2、闵可夫斯基距离及其推广

  对于给定样本$x_i=(x_{i1};x_{i2};...;x_{in})$与$x_j=(x_{j1};x_{j2};...;x_{jn})$，有闵可夫斯基距离（Minkowski distance）：$$dis{t}_{mk}(x_i,x_j)={\left(\sum _{u=1}^n\left|x_{iu}-x_{ju}\right|\right)}^{\frac{1}{p}}$$即$x_i-x_j$的$L_p$范数${\Vert x_i-x_j\Vert }_2$;对$p\ge 1$，显然满足距离度量的基本性质。
  有如下推广：
$p=2$时为欧氏距离：$$dis{t}_{ed}(x_i,x_j)={\Vert x_i-x_j\Vert }_2=\sqrt{\sum _{u=1}^n{\left|x_{iu}-x_{ju}\right|}^2}$$$p=1$时为曼哈顿距离：$$dis{t}_{man}(x_i,x_j)={\Vert x_i-x_j\Vert }_1=\sum _{u=1}^n\left|x_{iu}-x_{ju}\right|$$

3.3、连续属性与离散属性

  连续属性即“数值属性”，在定义域内有无穷多个取值，因其能直接在属性值上计算距离，故又称为“有序属性”；
  离散属性即“列名属性”，在定义域上有有限个取值，因其不能直接在属性值上计算距离，故又称为“无序属性”。