感知器算法例题

如图所示的训练数据集，其正样本是$x_1=(3,3{)}^{\top }$，$x_2=(4,3{)}^{\top }$，负样本是$x_3=(1,1{)}^{\top }$，使用感知器算法的随机梯度法求感知机模型$f(x)=\text{sign}(w\cdot x+b)$。这里，$w=(w^{(1)},w^{(2)}{)}^{\top }$，$x=(x^{(1)},x^{(2)}{)}^{\top }$。

---

解答
构建最优化问题：

$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

求解$w$，$b$，$\eta =1$。

(1) 取初值$w_0=0$，$b_0=0$；

(2) 对$x_1=(3,3{)}^{\top }$，$y_1(w_0\cdot x_1+b_0)=0$，未能被正确分类，更新$w$，$b$：

$$w_1=w_0+y_1{x}_1=(3,3{)}^{\top }{b}_1=b_0+y_1=1$$

得到线性模型：

$$w_1\cdot x+b_1=3x^{(1)}+3x^{(2)}+1$$

(3) 对$x_1$，$x_2$，显然，$y_i(w_1\cdot x_i+b_1)>0$，被正确分类，不修改$w$，$b$；对$x_3=(1,1{)}^{\top }$，$y_3(w_1\cdot x_3+b_1)<0$，被错分类，更新$w$，$b$：

$$w_2=w_1+y_3{x}_3=(2,2{)}^{\top }{b}_2=b_1+y_3=0$$

得到线性模型：

$$w_2\cdot x+b_2=2x^{(1)}+2x^{(2)}$$
如此继续下去，直到

$$w_7=(1,1{)}^{\top },b_7=-3$$

$$w_7\cdot x+b_7=x^{(1)}+x^{(2)}-3$$

对所有数据点$y_i(w_7\cdot x_i+b_7)>0$，没有错分类点，损失函数达到极小。

分离超平面为$x^{(1)}+x^{(2)}-3=0$，感知机模型为$f(x)=\text{sign}(x^{(1)}+x^{(2)}-3)$。

迭代过程见表。

表 求解的迭代过程

迭代次数	错分类点	$w$	$b$	$w\cdot x+b$
0	-	0	0	0
1	$x_1$	$(3,3{)}^{\top }$	1	$3x^{(1)}+3x^{(2)}+1$
2	$x_3$	$(2,2{)}^{\top }$	0	$2x^{(1)}+2x^{(2)}$
3	$x_3$	$(1,1{)}^{\top }$	-1	$x^{(1)}+x^{(2)}-1$
4	$x_3$	$(0,0{)}^{\top }$	-2	-2
5	$x_1$	$(3,3{)}^{\top }$	-1	$3x^{(1)}+3x^{(2)}-1$
6	$x_3$	$(2,2{)}^{\top }$	-2	$2x^{(1)}+2x^{(2)}-2$
7	$x_3$	$(1,1{)}^{\top }$	-3	$x^{(1)}+x^{(2)}-3$
8	0	$(1,1{)}^{\top }$	-3	$x^{(1)}+x^{(2)}-3$

这是在计算中错分类点先后取$x_1,x_3,x_3,x_3,x_1,x_3,x_3$ 得到的分离超平面和感知机模型。如果在计算中错分类点依次取$x_1,x_3,x_3,x_3,x_2,x_3,x_3,x_1,x_3,x_3$，那么得到的分离超平面是$2x^{(1)}+x^{(2)}-5=0$。

可见，感知器算法由于采用不同的初值或选取不同的错分类点，解可以不同。