深度学习：泛化能力、不收敛

一、什么是“泛化能力”

是指一个机器学习算法对于没有见过的样本的识别能力。我们也叫做举一反三的能力，或者叫做学以致用的能力。

举个例子，通过学习，小学生就可以熟练的掌握加减法，那么他们是怎么做到的呢？第一步学生们先感性的知道了在有一个苹果的基础上再拿来一个苹果的话就是一种加法，第二步知道个数可以用阿拉伯数字抽象的表示，到了 0 到 9 这十个数字和他们的抽象含义，第三步学习十以内的加减法，第四步推广到了多位数的加减法。

我们训练一个机器学习算法也是如此，通过感性的告诉机器一个加上一个等于两个，之后算法通过自己的学习，推广计算多位数的加减法，多位数的加减法是无穷多个的，如果机器在不断的测试中都能够算对，那么我们认为机器已经总结出了加法的内部规律并且能够学以致用，如果说机器只会计算你给机器看过的比如 3+3=6，而不会计算没有教过的8+9=17，那么我们认为机器只是死记硬背，并没有学以致用的能力，也就是说泛化能力非常的低，同时我们也把这种现象叫做这个算法过拟合（over-fitting）了。（过拟合是一种分类器会发生的现象，而泛化能力可以理解为对分类器的一种性能的评价）

二、什么是“不收敛”？

不收敛一般是形容一些基于梯度下降算法的模型，收敛是指这个算法有能力找到局部的或者全局的最小值，（比如找到使得预测的标签和真实的标签最相近的值，也就是二者距离的最小值），从而得到一个问题的最优解。如果说一个机器学习算法的效果和瞎蒙的差不多那么基本就可以说这个算法没有收敛，也就是根本没有去学习。