What is Kernel？

https://en.wikipedia.org/wiki/Kernel_(statistics)

Kernel 在不同的背景下，被赋予了不同的含义，这里我们3种不同的背下对其含义进行阐述。

1. Bayes statistic
   主要只概率密度函数pdf中与x有关的函数部分。
2. Machine learning and pattern analysis
   主要指kernel trick中的核函数。
3. non-parametric statistics
   也是指核函数，不过这里不是用在kernel trick中，而是指一种用于 连续概率密度的估计方法-KDE（kernel density estimator），KDE对应离散分布中的histogram图。KDE估计方法中，kernel的数量（也与参数的数量成正比）与样本的数量成正比，因此可以得出，参数的数量与样本的数量成正比，因此parameters的无法事先确定，因此是non-parametric！这就是non-parametric名称的由来！