机器学习与神经网络（三）：自适应线性神经元的介绍和Python代码实现

前言：本篇博文主要介绍自适应线性神经元的相关知识，采用理论+代码实践的方式，进行相关的学习。本文首先介绍线性神经元的模型，然后介绍LMS学习规则（最小均方规则），最后通过Python代码实现线性神经元模型，从而给读者一个更加直观的认识。

1、线性神经元模型

这里先说一下，一般我们学习映射问题，都是先从“线性映射”开始，然后深入到“非线性映射”，之间最主要的差别就是映射函数f(x):X---->Y,到底是线性的，还是非线性的。所以，线性神经元模型的激活函数肯定就是线性的。我们首先来看下面的图：（图片均来自网络）

图1：线性神经元模型

解释一下：首先，我们输入训练样本X和初始化权重向量W，将其进行向量的点乘，然后将点乘求和的结果作用于激活函数f(x)=x(典型的线性函数),得到实际的输出O，现在我们根据实际输出O和期望输出d之间的差距error，来调整初始化的权重向量W。如此反复，直到W调整到合适的结果为止。最后在预测阶段，我们就可以使用训练好的W，进行前向传播，即X----->Output的计算，其中的Quantizer可以理解为一个数字转换器，将实际输出压缩到-1到1之间。

那我们来看看，他与单层感知器模型的差别，比较图1,2，你会发现，他们在结构上非常相似，只是神经元的激活函数不同，由感知器的sign函数变成了purelin函数（f(x)=x）：

图2：单层感知器模型

2.线性神经元的学习规则

有了上面的模型，我们可以看出，他是通过期望输出与实际输出之间的误差进行参数W的调整的，所以介绍一下LMS学习规则如下：

从公式2.26b中可以得出我们权重W的调节程度，那么W=W+△W

3.线性神经元的代码实现

好了，我们已经知道了线性神经元的模型以及相关的学习规则，那么，我们就可以利用Python来实现他（代码基于Python2.7，Anaconda实现）

#! /usr/bin/env python
#coding=utf-8
import numpy as np
import matplotlib.pyplot as plt
#自适应线性神经元类的代码
class AdalineGd(object):
    '''
    eta: float
    学习效率，处于0和1之间
     
    n_iter：int
    对训练数据进行学习，改进次数
     
    w_：一维向量
    存储权重数值
     
    error_：
    一维向量
    存储每次迭代改进时，神经网络对数据进行错误判断的次数
    '''
    def __init__(self,eta = 0.01,n_iter=50):
        self.eta=eta
        self.n_iter =n_iter  
    def fit(self,X,y):
        '''
        :param X: 二维数组[n_samples, n_features]
        n_samples 表示X中含有训练数据条目数
        n_features含有4个数据的一维向量，用于表示一条训练条目
        :param y: 一维向量
        用于存储每一训练条目对应的正确分类
        :return: 
        '''
        self.w_ =np.zeros(1+X.shape[1])#权重初始化为零
        self.cost_ =[]
 
        for i in range(self.n_iter):
            output = self.net_input(X)
            #output=w0+w1*x1+...+wn*xn
            errors = (y - output)#向量，!!!!!!!这里没有用预测predict()
            self.w_[1:]+=self.eta *X.T.dot(errors)
            self.w_[0] +=self.eta *errors.sum()
            cost  =(errors **2).sum()/2
            self.cost_.append(cost)
        return self
 
 
    def net_input(self,X):
        return  np.dot(X,self.w_[1:]+self.w_[0])
 
    def activation(self,X):#线性函数f(x)=x
        return self.net_input(X)
 
    def predict(self,X):#最后的quantizer数字转化器
        return np.where(self.activation(X)>=0,1,-1)
 
 #后面的基本就是为了测试代码，并且进行可视化展示
import pandas as pd
file = 'Iris.csv'
df = pd.read_csv(file,header=None)
y = df.loc[0:100,4].values
y=np.where(y=='Iris-setosa',-1,1)
#根据整数位置选取单列或单行数据
X = df.loc[0:100,[0,2]].values
 
from matplotlib.colors import ListedColormap
def plot_decision_region(X,y,classifier,resolution=0.02):
    markers=('s','x','o','v')
    colors=('red','blue','lightgreen','gray','cyan')
    cmap = ListedColormap(colors[:len(np.unique(y))])
 
    x1_min ,x1_max = X[:,0].min()-1,X[:,0].max()
    x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max()
    xx1,xx2 = np.meshgrid(np.arange(x1_min,x1_max,resolution),
                      np.arange(x2_min, x2_max, resolution))
    #得到预测分类输出
    Z =classifier.predict(np.array([xx1.ravel(),xx2.ravel()]).T)
    print (xx1.ravel())
    print(xx2.ravel())
    print Z
    Z=Z.reshape(xx1.shape)
    plt.contourf(xx1,xx2,Z,alpha =0.4, cmap=cmap)
    plt.xlim(xx1.min(),xx1.max())
    plt.ylim(xx2.min(),xx2.max())
    for idx,cl in enumerate(np.unique(y)):
        plt.scatter(x=X[y==cl,0],y=X[y==cl,1],alpha=0.8,c=cmap(idx),
                    marker=markers[idx],label=cl)
 #这里开始训练
ada = AdalineGd(eta=0.0001,n_iter=100)

ada.fit(X,y)
#这里开始使用predict()并且一些可视化操作
plot_decision_region(X,y,classifier=ada)
plt.xlabel('huajingchang')
plt.ylabel('huabanchang')
plt.legend(loc='upper left')
plt.show()
 
 #可视化W调整的过程中，错误率随迭代次数的变化
plt.plot(range(1,len(ada.cost_)+1),ada.cost_,marker ='o')
plt.xlabel('epochs')
plt.ylabel('sum-squard-error')
plt.show()

实验截图如下：

最后：图片如有侵权，望告知，删。如有错误之处，还望指正。