神经网络笔记 - 神经网络

一.神经网络基础知识

1.神经网络解决了什么问题

• 将人类眼中的数据（如图像、文本）转换成计算机能理解的特征矩阵。
• 适用于分类、回归等多种任务，本质上是进行特征提取与决策映射。

2.神经网络基本结构

• 输入层（Input Layer）：接收原始数据，如图像的像素矩阵。
• 隐藏层（Hidden Layers）：进行特征提取和变换，可以是多层叠加。
• 输出层（Output Layer）：给出最终预测结果，如分类概率。

每一层通常包括：

• 权重（Weights）
• 偏置（Bias）
• 激活函数（Activation Function）

三.神经网络与传统算法的关系

线性函数：简单的单层映射。
$$f(W,x)=Ｗx+b$$
神经网络：可以理解为多层线性变换 + 非线性变换的组合，更强大且更灵活。

相比传统机器学习，神经网络：

• 可扩展性强（像堆积木一样堆叠）
• 容易DIY和创新
• 更适合处理复杂数据（如图像、文本）

举个例子

假设现在有一张图片，规格为: 32 * 32 * 3
这张图片就有 3072 个特征

10 分类权重矩阵： W = [ w 11 w 12 ⋯ w 1 ∗ 3072 w 21 w 22 ⋯ w 2 ∗ 3072 ⋮ ⋮ ⋱ ⋮ w 10 ∗ 1 w 10 ∗ 2 ⋯ w 10 ∗ 3072 ] 10分类权重矩阵：\mathbf{W} = \begin{bmatrix} w_{11} & w_{12} & \cdots & w_{1*3072} \\ w_{21} & w_{22} & \cdots & w_{2*3072} \\ \vdots & \vdots & \ddots & \vdots \\ w_{10*1} & w_{10*2} & \cdots & w_{10*3072} \end{bmatrix} 10分类权重矩阵：W= ​w11​w21​⋮w10∗1​​w12​w22​⋮w10∗2​​⋯⋯⋱⋯​w1∗3072​w2∗3072​⋮w10∗3072​​ ​

特征矩阵 ( n = 3072 ) ： X = [ x 1 x 2 ⋮ x m ] 特征矩阵(n = 3072)：\mathbf{X} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_m \end{bmatrix} 特征矩阵(n=3072)：X= ​x1​x2​⋮xm​​ ​

W ∗ X = [ f ( 1 ) f ( 2 ) ⋮ f ( 3072 ) ] W*X = \begin{bmatrix} f(1) \\ f(2) \\ \vdots \\ f(3072) \end{bmatrix} W∗X= ​f(1)f(2)⋮f(3072)​ ​

通过W*X 的出本轮训练的分数，这就是多层线性变化

五. 损失函数（Loss Function）

作用：衡量模型预测和真实标签之间的差异。

• 损失值越小，说明模型预测越准确。
• 设计灵活，可针对不同任务自定义。

损失函数 = 数据损失计算 + 正则化惩罚

例子

顺着上面的例子，我们的到了X* W的分数
那么，我们如何知道分数有多对，或则这个分数的准确率有多少，这里需要用到损失函数
我们可以拿到正确标签对应的分数，得到矩阵y
y i = [ y 1 y 2 ⋮ y 10 ] y_i = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_{10} \end{bmatrix} yi​= ​y1​y2​⋮y10​​ ​
拿到 y 之后就可以分别带入到损失函数中，得到最终的结果：这个答案有多准确

正则化惩罚

损失函数得出的结果一样，也不认为这两个模型是一样的，我们还得考虑具体的权重参数
假设我们有两个W矩阵,假设这两个矩阵计算的结果相同 都为1 ,输入数据X
$${\mathbf{W}}_1=\left[\begin{array}{cccc}1& 0& 0& 0\end{array}\right],{\mathbf{W}}_2=\left[\begin{array}{cccc}0.25& 0.25& 0.25& 0.25\end{array}\right]$$
$$\mathbf{X}=\left[\begin{array}{cccc}1& 1& 1& 1\end{array}\right],$$
W1 W2 经过损失函数计算都为 1
显然W2 的数据更加平稳，这样的数据说明再计算的过程中，神经网络最大程度上使不同数据的信息，而不是单独通过某一条数据进行判断

六反向传播（Backpropagation）

在训练神经网络时，计算每个参数（权重）应该怎么调整，才能让模型的输出变得更好（比如分类更准）的一种算法。

它是一层一层往回推，算出每个参数对最终误差（loss）的影响，然后用这些信息来更新参数。

简单说：

• 正向传播（forward）是：输入 -> 层层计算 -> 得到输出 -> 算loss。
• 反向传播（backward）是：根据loss -> 反推每一层 -> 算出每个参数的“改正方向”。

比如：
你有一张猫的图片，告诉神经网络“这是猫”。
神经网络一开始可能猜错，比如猜成了狗。
通过反向传播，它知道了：“啊，我哪一部分参数错了，应该怎么调整”。
下次再遇到类似图片，它就能更准确地认出猫了。

每次训练，就是不停地：

• 正向推一遍 ➔ 算误差 ➔ 反向推一遍 ➔ 更新参数 ➔ 下一轮

训练很多轮后，模型就越来越聪明。