K均值聚类例题

给定5个样本的样本矩阵

$${\mathbf{X}}^{\top }=\left[\begin{array}{ccccc}0& 0& 1& 5& 5\\ 2& 0& 0& 0& 2\end{array}\right]$$

使用$K$均值聚类算法将样本聚到两个类中。选择两个样本点${\mathbf{x}}_1=(0,2{)}^{\top }$，${\mathbf{x}}_2=(0,0{)}^{\top }$作为类中心的初值。

---

解答

(1) 类中心的初值
$${\mathbf{m}}_1^{(0)}={\mathbf{x}}_1=(0,2{)}^{\top }，{\mathbf{m}}_2^{(0)}={\mathbf{x}}_2=(0,0{)}^{\top }$$

(2) 以${\mathbf{m}}_1^{(0)}$，${\mathbf{m}}_2^{(0)}$ 为类$C_1^{(0)}$，$C_2^{(0)}$ 的中心，计算${\mathbf{x}}_3=(1,0{)}^{\top }$，${\mathbf{x}}_4=(5,0{)}^{\top }$，${\mathbf{x}}_5=(5,2{)}^{\top }$ 与${\mathbf{m}}_1^{(0)}=(0,2{)}^{\top }$，${\mathbf{m}}_2^{(0)}=(0,0{)}^{\top }$ 的欧氏距离平方。
(a) 对于${\mathbf{x}}_3=(1,0{)}^{\top }$，$d({\mathbf{x}}_3,m_1^{(0)})=5$，$d({\mathbf{x}}_3,{\mathbf{m}}_2^{(0)})=1$，将${\mathbf{x}}_3$ 分到类$C_2^{(0)}$。
(b) 对于${\mathbf{x}}_4=(5,0{)}^{\top }$，$d({\mathbf{x}}_4,{\mathbf{m}}_1^{(0)})=29$，$d({\mathbf{x}}_4,{\mathbf{m}}_2^{(0)})=25$，将${\mathbf{x}}_4$ 分到类$C_2^{(0)}$。
(c ) 对于${\mathbf{x}}_5=(5,2{)}^{\top }$，$d({\mathbf{x}}_5,{\mathbf{m}}_1^{(0)})=25$，$d({\mathbf{x}}_5,{\mathbf{m}}_2^{(0)})=29$，将${\mathbf{x}}_5$ 分到类$C_1^{(0)}$。

(3) 得到新的类$C_1^{(1)}=\{{\mathbf{x}}_1,{\mathbf{x}}_5\}$，$C_2^{(1)}=\{{\mathbf{x}}_2,{\mathbf{x}}_3,{\mathbf{x}}_4\}$，计算类的中心${\mathbf{m}}_1^{(1)}$，${\mathbf{m}}_2^{(1)}$：
$${\mathbf{m}}_1^{(1)}=(2.5,2.0{)}^{\top }$$
$${\mathbf{m}}_2^{(1)}=(2,0{)}^{\top }$$

(4) 重复步骤 (2) 和步骤 (3)。将${\mathbf{x}}_1$ 分到类$C_1^{(1)}$，将${\mathbf{x}}_2$ 分到类$C_2^{(1)}$，${\mathbf{x}}_3$ 分到类$C_2^{(1)}$，${\mathbf{x}}_4$ 分到类$C_2^{(1)}$，${\mathbf{x}}_5$ 分到类$C_1^{(1)}$，得到新的类$C_1^{(2)}=\{{\mathbf{x}}_1,{\mathbf{x}}_5\}$，$C_2^{(2)}=\{{\mathbf{x}}_2,{\mathbf{x}}_3,{\mathbf{x}}_4\}$。

由于得到的新的类没有改变，聚类停止。得到聚类结果：
$$C_1^{\ast }=\{{\mathbf{x}}_1,{\mathbf{x}}_5\}$$
$$C_2^{\ast }=\{{\mathbf{x}}_2,{\mathbf{x}}_3,{\mathbf{x}}_4\}$$