人工神经网络之求解数学问题

前言

针对某类问题，人们常常能够从数学上提出相应的解决思路。但由于问题的复杂性和不确定性，描述解决思路的数学方程往往难以求解。基于求解问题的数学原理，可在原理性方法的指导下构造出相应的神经网络模型，使其通过对样本的学习自动实现问题的求解

SVM支持向量机

• 从线性可分模式分类的角度看，支持向量机的主要思想是建立一个最优决策超平面，使得该平面两侧距平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。
• 对于非线性可分模式分类问题，根据 Cover 定理:将复杂的模式分类问题非线性地投射到高维特征空间可能是线性可分的，因此只要变换是非线性的且特征空间的维数足够高，则原始模式空间能变换为一个新的高维特征空间，使得在特征空间中模式以较高的概率为线性可分的。

其中8.78式中的

• $a_p$即《支持向量机》一文中拉格朗日系数
• $d^p$即第p组样本的真实值

最终得到支持向量机的分类函数

• $\Phi (X^p)\Phi (X)$表示向高空间映射,即《支持向量机》一文的核函数,记为$K(z,x)$
• $b_0$,系数同拉格朗日系数一样,可训练出来

最终根据公共得出神经网络结构如下

核函数

我们做一个高维的转化，就能使其线性可分.对于二维空间下的以下四个点及其对应的分类

可以看到，在该空间上，这两类线性不可分，就是找不到一条直线，使得将其分开。我要对这些点做一个映射，将其映射至三维空间，比如做如下映射

在SVM的算法中,我们对高维转化的本身并不关心，只关心其转化后内积的结果. 如果在高维空间上做内积，计算将十分繁杂并且对计算机的性能要求非常高,为此，我们想到一个方法，不需要在高维空间直接做内积，而是在低维下计算，使得其结果跟高维空间做内积结果一样。这就是核函数。

1. 是内积符号
2. 常用的核函数

径向基函数 RBF

径向基函数RBF是一种插值函数与线性回归,BP神经网络一样,通过每一个测得的采样值逼近求解真实函数.其函数定义:

1. N 个插值节点，也就是已知 { x j , y j } ∣ j = 1 N \{x_j,y_j\}\big |_{j=1}^N {xj​,yj​} ​j=1N​
2. 通过引入“核函数”高斯函数,来刻画数据的局部化特征$\phi (r)=e^{-\frac{x^2}{2{\sigma }^2}}$
3. 
4. 该方程组的第 j 行为
5. 其图象为

根据公式构建其网络结构

• 常用径向基函数:高斯函数，反演S型函数，拟多二次函数
• RBF中相近中心点是相互影响的可通过训练算法(可能需要聚类)来选取.
• 隐藏层节点数即为样本数(中心)
• 学习算法，类似LMS

与BP网络的区别

• BP网络：全局逼近网络，神经网络的一个或多个可调参数对任何一个输出都有影响；学习速度慢，无法满足实时性要求的应用
• RBF网络：局部逼近网络，网络输入空间的某个局部区域只有少数几个连接权重影响网络的输出，学习速度快

主成分分析

在许多数据处理的应用中，要求保存尽可能多的信息并得到较好的数据压缩。降低输人变量的维数对数据压缩十分必要，但降维不能简单地对 X进行截断，因为截断所带来的均方误差等于截掉得各分量方差之和。因此需要对坐标系进行旋转(可逆的线性变换 T),使得通过该变换将原高维空间的数据X投影为低维空间的数据T(X)后，对 T(X)的截断在均方差意义下为最优，从而仍能保留原数据的主要信息。
上图就是从三维提取主要特征到二维的,假设数据如下形式

1. 把数据移动到坐标中点:计算均值E(X),若E(X)不为零，可令 X’=X-E(X)，从而得到 E(X’)=0

2. 求出方差矩阵,多维情况下为协方差

3. 找出方差矩阵的特征值及特征向量

4. 降维处理。可以看出，第一个最大特征值的贡献率为 87.27%，若将各输人向量降为一维，可保留原模式 87.27%的能量;第三个特征值的贡献率为 0，若将各输人向量降为二维，原模式将不损失任何信息。

可以看出，当原始维数n 较大时，直接计算 Rxx 的特征值很困难。如果利用神经网络的学习能力，可通过训练逐步进行主分量分析。

基于 Oja 学习算法的线性神经元 PCA 模型相当于一个最大特征滤波器，它将以概率 1收敛于一个固定点，其特征是:当$t\to \infty$时，模型输出的方差趋向于 Rxx的最大特征值${\lambda }_1$;模型的权向量$w$趋向相应的特征向量$U_1$。

如果想同时输出多个特征向量和特征值,改造其网络结构(Sanger)

主要参考

《核函数》
《基于径向基函数(RBF)的函数插值》
《人工神经网络理论、设计及应用》