【神经网络学习】5——Hamming网络初识

神经网络学习5——Hamming网络初识

1. 前景导入

上一篇，我们学习了单神经元感知机，该神经网络结构能够完成简单的分类任务。本篇将介绍一种同时采用前馈层和递归层的网络——Hamming网络，它是一种专门为求解二值模式识别问题而设计的网络，该网络有许多的特性。

---

2. 符号说明

数学描述	表示方式	数学符号
标量	小写斜体字母	$$a,b,c$$
向量	小写正体加粗字母	$$\mathbf{a},\mathbf{b},\mathbf{c}$$
矩阵	大写正体加粗字母	$$\mathbf{A},\mathbf{B},\mathbf{C}$$

下文用到的一些传输函数（激活函数）的解释可见：神经网络学习1——神经元模型

---

3. Hamming距离

学习Hamming网络结构之前，首先给出Hamming距离的定义，Hamming网络将根据Hamming距离来做出重要决策，因此Hamming距离的概念是十分重要的。

• 对于二进制字符串：设$x=(x_1,x_2,\cdots ,x_n)$和$y=(y_1,y_2,\cdots ,y_n)$是两个长度为n的二进制字符串，其中$x_i,y_i\in \{0,1\}$，$i=1,2,\cdots ,n$. 则他们的Hamming距离为：$$d(x,y)=\sum _{i=1}^n|x_i-y_i|$$

• 对于一般字符串：对于两个长度为$n$的字符串$s=s_1{s}_2\cdots s_n$和$t=t_1{t}_2\cdots t_n$($s_i,t_i$取自某个字符集），它们的汉明距离是使得$s_i\ne t_i$的$i$的个数。例如，对于字符串 “hurry” 和 “worry”，它们的长度都是5，只有第一个和第二个字符不同，所以这两个字符串的汉明距离为2。

所以不难发现，其实就是观察对应位置的元素是否一样，不一样则Hamming距离加1。

---

4. Hamming网络结构

本篇只对Hamming网络进行初步了解，因此在本篇只介绍两层的标准Hamming网络结构，其结构图如下：

网络工作流程如下：

• 前馈层处理输入：输入向量 $\mathbf{p}$与前馈层权重矩阵 ${\mathbf{W}}^1$、偏置 ${\mathbf{b}}^1$进行运算 ，通过公式 ${\mathbf{n}}^1={\mathbf{W}}^1\mathbf{p}+{\mathbf{b}}^1$ 计算线性组合结果 ${\mathbf{n}}^1$，再利用纯线性激活函数$\mathbf{purelin}$处理${\mathbf{n}}^1$，得到前馈层输出 ${\mathbf{a}}^1=\mathbf{purelin}({\mathbf{W}}^1\mathbf{p}+{\mathbf{b}}^1)$，作为递归层的初始输入。
• 递归层迭代：递归层初始输入 ${\mathbf{a}}^2(0)={\mathbf{a}}^1$，每一步迭代中，先通过权重矩阵 ${\mathbf{W}}^2$计算 ${\mathbf{n}}^2(t+1)={\mathbf{W}}^2{\mathbf{a}}^2(t)$，再利用正线性激活函数$\mathbf{poslin}$处理，得到 ${\mathbf{a}}^2(t+1)=\text{poslin}({\mathbf{W}}^2{\mathbf{a}}^2(t))$。

在前景导入提到过，Hamming网络是一种专门为求解二值模式识别问题而设计的网络，具有许多的特性。但是目前学到这里，我们通过直接观察该网络结构，除了发现其同时具有前馈层和递归层，且指定了特殊的传输函数外，我们并没有发现Hamming网络的其他特性，对其二值模式识别的工作机制也暂时没有了解。

---

5. Hamming网络的特性和工作机制

接下来，我们将详细介绍Hamming网络的特性和工作机制。

5.1 Hamming网络的特性

Hamming网络的特性主要体现在网络结构、输入向量的要求、前馈层偏置值的选取、权值矩阵的选取模式、传输函数的选择、神经元数量要求。我们先来列出这些具体特性，而后结合具体实例来介绍工作机制并对特性进行解释。

5.2 Hamming网络的工作机制

为了理解Hamming网络的工作机制，我们举例$R=3,S=2$（即输入向量是3维，前馈层和递归层神经元数量均为2）且二值模式选取二值为-1和1时的一个问题：代表猫的标准向量为 p 1 = [ 1 − 1 − 1 ] \mathbf{p_1} = \begin{bmatrix}1 \\ -1 \\ -1 \end{bmatrix} p1​= ​1−1−1​ ​ ，代表狗的标准向量为 p 2 = [ 1 1 − 1 ] \mathbf{p_2} = \begin{bmatrix}1 \\ 1 \\ -1 \end{bmatrix} p2​= ​11−1​ ​，任务是基于Hamming网络工作原理来判断 p = [ − 1 − 1 − 1 ] \mathbf{p} = \begin{bmatrix}-1 \\ -1 \\ -1 \end{bmatrix} p= ​−1−1−1​ ​是猫还是狗。

5.2.1 前馈层机制

Hamming网络的前馈层通过计算输入模式与标准模式的Hamming距离衡量相似度，并生成初始激活信号供反馈层竞争，以确定最匹配的标准模式。针对上面提到的问题，根据前面指出的Hamming网络特性，有
$${\mathbf{W}}^1=\left[\begin{array}{c}{\mathbf{p}}_1^T\\ {\mathbf{p}}_2^T\end{array}\right]=\left[\begin{array}{ccc}1& -1& -1\\ 1& 1& -1\end{array}\right],{\mathbf{b}}^1=\left[\begin{array}{c}R\\ R\end{array}\right]=\left[\begin{array}{c}3\\ 3\end{array}\right]\text{\hspace{1em}(1)}$$
由于该层采用的是线性传输函数，故该层的输出为${\mathbf{a}}^1$为
$${\mathbf{a}}^1=\mathbf{purelin}({\mathbf{W}}^1\mathbf{p}+{\mathbf{b}}^1)={\mathbf{W}}^1\mathbf{p}+{\mathbf{b}}^1=\left[\begin{array}{c}{\mathbf{p}}_1^T\\ {\mathbf{p}}_2^T\end{array}\right]\mathbf{p}+\left[\begin{array}{c}3\\ 3\end{array}\right]=\left[\begin{array}{c}{\mathbf{p}}_1^T\mathbf{p}+3\\ {\mathbf{p}}_2^T\mathbf{p}+3\end{array}\right]=\left[\begin{array}{c}4\\ 2\end{array}\right]\text{\hspace{1em}(2)}$$
说明

• 关于输入模式与每个标准模式进行内积计算：我们知道，对于等长的两个向量，内积在两个向量指向同方向时最大，通过这样的内积计算，可以将与输入模式Hamming距离小的标准模式筛选出来（对应于内积结果的值越大）。
• 关于偏置的选取：将输入模式与每个标准模式的内积加上一个常数$R$，可以确保输出不会全为负值（若全为负值，那么递归层将输出零向量，那么将达不到筛选的需求与效果），从而为递归层的正确操作提供保障。

5.2.2 递归层机制

Hamming网的递归层即所谓的“竞争”层。该层的神经元用前馈层的输出进行初始化（即${\mathbf{a}}^2(0)={\mathbf{a}}^1$），然后相互竞争以决定胜者。竞争后只有一个神经元的输出值不等于 0，这将表示输入模式所属的类别。当前馈层和递归层有$S$个神经元时，权值矩阵${\mathbf{W}}^2$ 的形式为
W 2 = [ 1 − ε − ε ⋯ − ε − ε 1 − ε ⋯ − ε − ε − ε 1 ⋯ − ε ⋮ ⋮ ⋮ ⋱ ⋮ − ε − ε − ε ⋯ 1 ] (3) \mathbf{W}^2 = \begin{bmatrix} 1 & -\varepsilon & -\varepsilon & \cdots & -\varepsilon \\ -\varepsilon & 1 & -\varepsilon & \cdots & -\varepsilon \\ -\varepsilon & -\varepsilon & 1 & \cdots & -\varepsilon \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ -\varepsilon & -\varepsilon & -\varepsilon & \cdots & 1 \end{bmatrix}\tag{3} W2= ​1−ε−ε⋮−ε​−ε1−ε⋮−ε​−ε−ε1⋮−ε​⋯⋯⋯⋱⋯​−ε−ε−ε⋮1​ ​(3)
其中$\epsilon$为小于$1/(S-1)$的数（本节说明中进行了解释），$S$为递归层神经元的个数。

针对我们举例的问题，其前馈层和递归层中神经元数量为2，则权值矩阵${\mathbf{W}}^2$ 的形式为
$${\mathbf{W}}^2=\left[\begin{array}{cc}1& -\epsilon \\ -\epsilon & 1\end{array}\right]\text{\hspace{1em}(4)}$$
那么递归层的每次迭代过程如下：${\mathbf{a}}^2(t+1)=\mathbf{poslin}({\mathbf{W}}^2{\mathbf{a}}^2(t))$，即
$${\mathbf{a}}^2(t+1)=\mathbf{poslin}\left(\left[\begin{array}{cc}1& -\epsilon \\ -\epsilon & 1\end{array}\right]{\mathbf{a}}^2(t)\right)=\mathbf{poslin}\left(\left[\begin{array}{c}{a}_1^2(t)-\epsilon a_2^2(t)\\ a_2^2(t)-\epsilon a_1^2(t)\end{array}\right]\right)\text{\hspace{1em}(5)}$$
从上式可以看出，向量中每个元素都减去另一个元素的一部分，而减少的比例相同，均为$\epsilon$。具有较大值的元素减去的量较少，而具有较小值的元素减去的量较大，这将导致元素值的大小差别进一步扩大，最终使得除了初始值最大的元素的值继续保持较大的值之外，其他元素的值将逐步变为0。而输出值大于0的元素所对应的神经元便对应于以Hamming距离和输入模式最靠近的标准模式。

接下来，我们针对给出的问题进行递归层的迭代，其中取$\epsilon =0.5$(由前面证明可知，实际上，这里也可采用其他任何小于1的数)。

• 递归层的第一次迭代

$${\mathbf{a}}^2(1)=\mathbf{poslin}({\mathbf{W}}^2{\mathbf{a}}^2(0))=\{\begin{array}{l}\mathbf{poslin}\left(\left[\begin{array}{cc}1& -0.5\\ -0.5& 1\end{array}\right]\left[\begin{array}{c}4\\ 2\end{array}\right]\right)\\ \mathbf{poslin}\left(\left[\begin{array}{c}3\\ 0\end{array}\right]\right)=\left[\begin{array}{c}3\\ 0\end{array}\right]\end{array}\text{\hspace{1em}(6)}$$

• 递归层的第二次迭代

$${\mathbf{a}}^2(2)=\mathbf{poslin}({\mathbf{W}}^2{\mathbf{a}}^2(1))=\{\begin{array}{l}\mathbf{poslin}\left(\left[\begin{array}{cc}1& -0.5\\ -0.5& 1\end{array}\right]\left[\begin{array}{c}3\\ 0\end{array}\right]\right)\\ \mathbf{poslin}\left(\left[\begin{array}{c}3\\ -1.5\end{array}\right]\right)=\left[\begin{array}{c}3\\ 0\end{array}\right]\end{array}\text{\hspace{1em}(7)}$$

由于递归层在后面的迭代过程中得到的都是同样的结果，这表明网络已经收敛。这时只有第一个神经元的输出为非0值，因此选择第一个神经元所代表的标准模式(猫)作为匹配结果。由于猫的标准向量和该输入模式的Hamming 距离为1，而狗的标准向量和该输入模式的Hamming距离为2，据此可以看出该网络的识别结果是正确的。

说明

• 关于$\epsilon$的选取的证明

在Hamming网络的递归层中，参数$\epsilon$必须小于$1/(S-1)$，其中$S$是递归层神经元的个数。接下来我们来证明：

当递归层有个神经$S$元时，权值矩阵${\mathbf{W}}^2$一个$S\times S$的矩阵，其中对角线元素为1，非对角线元素为$-\epsilon$。递归过程为
a 2 ( t + 1 ) = p o s l i n ( [ a 1 2 ( t ) − ε a 2 2 ( t ) − ε a 3 2 ( t ) ⋅ ⋅ ⋅ − ε a S 2 ( t ) ⋮ − ε a S − 1 2 ( t ) − ε a S − 2 2 ( t ) ⋅ ⋅ ⋅ − ε a 1 2 ( t ) + a S 2 ( t ) ] ) (8) \mathbf{a}^2(t+1) =\mathbf{poslin}\left( \begin{bmatrix} a_1^2(t) - \varepsilon a_2^2(t)-\varepsilon a_3^2(t)···-\varepsilon a_S^2(t) \\⋮\\ - \varepsilon a_{S-1}^2(t)-\varepsilon a_{S-2}^2(t)···-\varepsilon a_1^2(t)+ a_S^2(t)\end{bmatrix}\right)\tag{8} a2(t+1)=poslin ​ ​a12​(t)−εa22​(t)−εa32​(t)⋅⋅⋅−εaS2​(t)⋮−εaS−12​(t)−εaS−22​(t)⋅⋅⋅−εa12​(t)+aS2​(t)​ ​ ​(8)
我们不妨假设$a_1^2(t)$为最大，那么我们要确保
$$a_1^2(t)-\epsilon a_2^2(t)-\epsilon a_3^2(t)\cdot \cdot \cdot -\epsilon a_S^2(t)>a_1^2(t)-\epsilon (S-1)a_1^2(t)>0\text{\hspace{1em}(9)}$$
从而得出结论。

---

6. 结语

• 引用：[- 书名：Neural Network Design - 作者：[美] Martin T. Hagan，Howard B. Demuth，Mark H. Beale]

• 本篇通过学习上述书籍而总结之，图片由ppt、AxGlypy创作。本篇为神经网络学习的第五小节，接下来将会陆续更新神经网络学习内容。若有不正确不严谨之处，还请见谅并期待反馈！