深度学习之核函数

深度学习之核函数

在机器学习中，常看到多项式核函数、高斯核函数，那什么叫核函数（Kernel Function，或者Kernel Trick）呢？它有什么用呢。

支持向量机通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =<φ( x) ⋅φ( x′) > 。那么支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

核函数包括线性核函数、多项式核函数、高斯核函数等，其中高斯核函数最常用，可以将数据映射到无穷维，也叫做径向基函数（Radial Basis Function 简称 RBF），是某种沿径向对称的标量函数。 通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 ，可记作 k（||x-xc||）， 其作用往往是局部的，即当x远离xc时函数取值很小。

上面的资料是从百度百科上查询到的。一开始可能对核函数理解都是没有一个比较深刻的印象。其实核函数的应用是因为它有一系列很好的特性：

由于核函数可以巧妙的把高维空间的内积计算转化到低维空间，所以它可以很好的解决维数灾难。

低维空间的线性不可分到高维可能会线性可分。

对非线性变换函数Φ的形式和参数可以不考虑。

核函数方法和可以同其它的算法结合，形成新的核技巧。更厉害的是这两部分是互相独立进行的。

因此，核函数其实是一个比较高维的一个技巧—核技巧。可以比较粗暴的认为它是一个从低维空间向高维空间的映射，但其实这是不准确的。不过这样理解的话，更容易明白。

在周志华老师的《机器学习》里有一个定义：

定理 6.1 (核函数) 令 X 为输入空间 ?κ( .γ) 是定义在 XxX 上的对称函数，则 κ 是核函数当且仅当对于任意数据 D = {X1 ， 町， ...Jm}，"核矩阵" (kernel matrix) K 总是半正定的:

定理 6.1 表明，只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用.事实上，对于一个半正定核矩阵，总能找到一个与之对应的映射cþ. 换言之，任何一个核函数都隐式地定义了一个称为"再生核希尔伯特空间" (Reproducing Kernel Hilbert Space，简称 RKHS) 的特征空间.

希尔伯特空间是欧氏空间的一个推广，不再局限于有限维的情形，它是一个完备的内积空间也就是说一个带有内积的完备向量空间。而再生核希尔伯特空间由核函数构成的空间。

完备空间指任何柯西序列都收敛于该空间之内。说的比较直白一点就是这玩意儿有极限。注意上面的话，必须收敛于该空间之内，举一个例子：如果有理数的序列收敛于无理数上，有极限也不算。