正向传播forward propagation:神经网络的输出表示 及其 向量化与递推关系

正向传播就是输入x一步一步从输出层经过各隐层到达输出层的过程

见下图笔记

NN基本结构

正向传播forward propagation:神经网络的输出表示 及其 向量化与递推关系_第1张图片

符号约定

上角标[ ],代表层数;上角标(),代表不同样本;无括号下角标,代表不同特征。

计算过程

正向传播forward propagation:神经网络的输出表示 及其 向量化与递推关系_第2张图片

正向传播forward propagation:神经网络的输出表示 及其 向量化与递推关系_第3张图片

向量化(将多个样本写成矩阵)

正向传播forward propagation:神经网络的输出表示 及其 向量化与递推关系_第4张图片

 

正向传播forward propagation:神经网络的输出表示 及其 向量化与递推关系_第5张图片

i层与i+1层的递推关系

维数的对应关系

Z^[i+1]: (n^[i+1], m)

W^[i+1]: (n^[i+1], n^[i])

A^[i]: (n^[i], m)

b^[i+1]: (n^[i+1], m)

可知其符合矩阵乘法的维数对应,与事实相符

你可能感兴趣的:(Artificial,Intelligence)