多层感知器 - Multilayer Perceptron --（Back-propagation Algorithm - 反馈神经网络）

•Single Layer Perceptron can Only express linear decision surfaces

•We can build a multilayer network represent the highly nonlinear decision surfaces

Sigmoid Unit

Back-propagation Algorithm

•For each training example, training involves following steps

Step 1: Present the training sample, calculate the outputs

（初始时，对于每一层的每个感知器的权重向量全是很小的随机数。）

Step 2: For each output unit k, calculate

（对于输出层的每个感知器）

（ok为第k个感知器的输出值，dk为第k个类别标示值）

Step 3: For hidden unit h, calculate

（对于隐藏层的每个感知器）

（k为输出层的感知器或者是下一层的感知器）、

Step 4: Update the output layer weights, wh,k

（更新输出层每个感知器的权重向量）

where oh is the output of hidden layer h

Step 5: Update the hidden layer weights, wi,h

（更新隐藏层的每个感知器的权重向量）

如此迭代

       通过梯度下降来更新神经网络中的权重向量，这样我们可能得到的只是一个局部极小值而不是全局最小值，但是在实践中神经网络表现不错。