【深度学习】: MNIST手写数字识别

 清华大学驭风计划课程链接 

学堂在线 - 精品在线课程学习平台 (xuetangx.com)

代码和报告均为本人自己实现（实验满分），只展示主要任务实验结果，如果需要详细的实验报告或者代码可以私聊博主,可接实验指导1对1

有任何疑问或者问题，也欢迎私信博主，大家可以相互讨论交流哟~~

案例2：构建自己的多层感知机: MNIST手写数字识别

相关知识点: numpy科学计算包，如向量化操作，广播机制等

1 数据集简介

       MNIST手写数字识别数据集是图像分类领域最常用的数据集之一，它包含60,000张训练图片，10,000张测试图片，图片中的数字均被缩放到同一尺寸且置于图像中央，图片大小为28×28。MNIST数据集中的每个样本都是一个大小为784×1的矩阵(从28×28转换得到)。MNIST数据集中的数字包括0到9共10类，如下图所示。注意，任何关于测试集的信息都不该被引入训练过程。

       在本次案例中，我们将构建多层感知机来完成MNIST手写数字识别。

2 构建多层感知机

        本次案例提供了若干初始代码，可基于初始代码完成案例，各文件简介如下：
（运行初始代码之前请自行安装TensorFlow 2.0及以上版本，仅用于处理数据集，禁止直接调用TensorFlow函数）

lmlp.ipynb包含了本案例的主要内容，运行文件需安装Jupyter Noterbook.

lnetwork.py定义了网络，包括其前向和后向计算。

loptimizer.py定义了随机梯度下降(SGD)，用于完成反向传播和参数更新。

lsolver.py定义了训练和测试过程需要用到的函数。

lplot.py用来绘制损失函数和准确率的曲线图。

       此外，在/criterion/和/layers/路径下使用模块化的思路定义了多个层，其中每个层均包含三个函数：__init__用来定义和初始化一些变量，forward和backward函数分别用来完成前向和后向计算：

lFCLayer为全连接层，输入为一组向量（必要时需要改变输入尺寸以满足要求），与权重矩阵作矩阵乘法并加上偏置项，得到输出向量: 

.

lSigmoidLayer为sigmoid激活层，根据

计算输出。

lReLULayer为ReLU激活层，根据

计算输出。

lEuclideanLossLayer为欧式距离损失层，计算各样本误差的平方和得到: 

。

lSoftmaxCrossEntropyLossLayer可以看成是输入到如下概率分布的映射：

其中

是输入向量X中的第k个元素，

该输入被分到第k个类别的概率。由于softmax层的输出可以看成一组概率分布，我们可以计算delta似然及其对数形式，称为Cross Entropy误差函数：

其中

       注意：此处的softmax损失层与案例1中有所差异，本次案例中的softmax层不包含可训练的参数，这些可训练的参数被独立成一个全连接层。

3 案例要求

       完成上述文件里的‘#TODO’部分(红色标记的文件)，提交全部代码及一份案例报告，要求如下：

l记录训练和测试准确率，绘制损失函数和准确率曲线图；

l比较分别使用Sigmoid和ReLU激活函数时的结果，可以从收敛情况、准确率等方面比较；

l比较分别使用欧式距离损失和交叉熵损失时的结果；

l构造具有两个隐含层的多层感知机，自行选取合适的激活函数和损失函数，与只有一个隐含层的结果相比较；

l本案例中给定的超参数可能表现不佳，请自行调整超参数尝试取得更好的结果，记录下每组超参数的结果，并作比较和分析。

4实验结果

1，记录训练和测试准确率，绘制损失函数和准确率曲线图

2，比较分别使用 Sigmoid 和 ReLU 激活函数时的结果，可以从收敛情况、准确率等方面比较；

收敛情况：通过图像看出 ReLU 激活函数时收敛比 Sigmoid 激活函数更快，更迅速收敛，不论是从起点还是中间段来看都是这样

准确率：使用 ReLU 激活函数时的正确率比 Sigmoid 激活函数时更高

3，比较分别使用欧式距离损失和交叉熵损失时的结果

从前面的图像可以看出使用欧式距离损失比交叉熵损失结果更好，虽然相差不大，

但是从测试结果正确率来看欧式距离会更好

4，构造具有两个隐含层的多层感知机，自行选取合适的激活函数和损失函数，与只有一个隐含层的结果相比较

通过前面的训练结果总结用欧式距离损失＋ ReLU 激活函数会更好，最终结果

从图像看出在其他超参数一样的情况下，双层 ReLU 激活函数的结果略优于

单层的 ReLU 激活函数的结果

5，本案例中给定的超参数可能表现不佳，请自行调整超参数尝试取得更好的结果，记录下每组超参数的结果，并作比较和分析。

不同学习率结果比较：

从图中可看出学习率为 0.001 时候结果最优，也就是原始代码中给的学习率在学习率为 0.1，0.01 时候直接发生梯度爆炸，loss 发生完全不能下降的情况学习率为 0.0001 时候虽然也有不错的结果但是和 0.001 的结果仍然有一定差距。

不同权重衰减值的结果比较：

这是是用 ReLU 激活函数做的测试

发现最优权重衰减系数在 0.1 的时候最优，最优测试结果如下

在写报告之前多次测试实验中有一次测出了 0.9646 的正确率，但是后面怎么也测试不出来了，猜测可能是随机性引起的

发 现Sigmoid激活函数做的测试和用ReLU激活函数做的测试结果发生明显差异，从图中能看出虽然四条曲线都很接近，但对于 Sigmoid 激活函数组成的神经网络发现最优的权重衰减系数0.001，最优结果如下

比在权重衰减系数 0.1 时正确率增加了 1% 差不多

总结来看对于 Sigmoid 激活函数做的测试和用 ReLU 激活函数做的测试它们的最优

权重衰减系数各不相同。