梯度下降法以及随机梯度下降法
梯度下降法就是在更新weight的时候，向函数值下降的最快方向进行更新，具体的原理我就不再写了，就是一个求偏导的过程，有高数基础的都能够很快的理解过程。我在我的github里面会一直更新自己学习pytorch的过程，地址为： https://github.com/00paning/Pytorch_Learning
这里我直接展示一个简易实现的python代码，我们还是先看一下运行的效果图：
相关python代码如下：
import numpy as np
import matplotlib.pyplot as plt
x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]
w = 1.0
epoch_list = []
cost_list = []
def forward(x):
return x*w
def cost(xs,ys):
cost = 0
for x,y in zip(xs,ys):
y_pred = forward(x)
cost += (y_pred - y)**2
return cost/len(xs)
def gradient(xs,ys):
grad = 0
for x,y in zip(xs,ys):
grad += 2 * (x * w - y)
return grad/len(xs)
print('Predict(before training)',4,forward(4))
for epoch in range(100):
cost_val = cost(x_data,y_data)
grad_val = gradient(x_data,y_data)
w -= 0.01 *grad_val
epoch_list.append(epoch)
cost_list.append(cost_val)
print('Epoch:',epoch,'w=',w,'loss=',cost_val)
print('Predict(after training)',4,forward(4))
plt.plot(epoch_list,cost_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()下面是随机梯度下降法，由于鞍点的存在（就是导数为0的点），当训练遇到鞍点的时候，根据weight更新的公式来看，就会一直陷在鞍点里面，这时候，可以使用随机梯度下降法。它相比与梯度下降法的改变就是在计算loss的时候，本方法每次计算loss只选取一个点计算loss。相比与梯度下降法，这个方法的运行效率是很低的，因为它不能并行计算每个x的值，但是准确性得到了提升。下面还是先看一下效果图：
相关的python代码如下：
import numpy as np
import matplotlib.pyplot as plt
x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]
w = 1.0
epoch_list = []
cost_list = []
def forward(x):
return x*w
def loss(x,y):
y_pred = forward(x)
return (y_pred - y)**2
def gradient(x,y):
return 2 * (x * w - y)
print('Predict(before training)',4,forward(4))
for epoch in range(100):
for x,y in zip(x_data,y_data):
grad = gradient(x,y)
w = w - 0.01 *grad
l = loss(x,y)
cost_list.append(l)
epoch_list.append(epoch)
print('Epoch:',epoch,'w=',w,'loss=',l)
print('Predict(after training)',4,forward(4))
plt.plot(epoch_list,cost_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()