机器学习概念读书笔记

1-机器学习起源

机器学习始于1950年代，塞缪尔用跳棋游戏研究机器学习，最终程序打败了他自己，后来更是战胜了美国跳棋全国冠军。别看小小的跳棋程序，这个意义是重大的，传统的计算机是根据程序员的指令一步步执行，不会有“越轨”行为，所以不可能战胜程序制定者，当这一结果出现的时候，说明机器具有了学习功能，机器接收的是数据，不是单纯的指令。

2-简单地理解机器学习

机器学习，顾名思义，机器的自我学习。以往，计算机实现的是因果逻辑，代码程序是固定的，机器按部就班的执行。而机器学习是不一样的，试想模拟人类去学习去输出，是一个道理的，学习的整个过程可以分为四部分：输入，训练，数据，输出。核心是训练和数据，也就是利用数据训练形成算法模型。学习好了之后，应用的时候，通过输入，利用模型做出输出。

比如我们听到的最多的机器对弈，在学习阶段，通过大量棋手的经验数据对机器进行训练，形成算法，在机器下棋时，根据形成的算法，结合经验数据，做出决策。

说到这里，我倒是有个疑问，机器学习基于历史数据经验，按理徒弟很难超过师傅，也就是机器学习很难超出已有数据经验，这一点的临界和关键又是什么？我将在后续读书中寻找这个答案，看是否是个问题，是怎么解决的。

与机器纠缠不清的概念有几个，模式识别，数据挖掘，统计学习，我还没搞清楚，后面慢慢了解。

3-机器学习主要算法

算法是机器学习的核心，了解一些目前的主流算法，还是蛮有意思的。

a.回归算法

回归有线性回归和逻辑回归等，回归是线性的方法，根据数据拟合最佳直线，利用最小二乘法，就是所有数据的误差的平方和最小。线性回归输出的是数值，逻辑回归输出的是分类。

b.神经网络

当线性算法解决不了问题时，要靠非线性算法，神经网络就是一种非线性方法。神经网络是在研究大脑的机制过程中产生的，分为输入层，隐藏层，输出层，大概理解就是将非线性的问题转化成大量的线性问题，也就是最终是大量的线性回归在隐藏层。

c.支持向量机

支持向量机也是一种非线性方法，是逻辑回归的优化算法。神经网络是是通过分解而化非线性为线性，支持向量机是通过映射升维，把低维度的非线性问题转化为高维度的线性问题。

d.其他算法

机器学习实在是太多了，百花齐放，野蛮生长，后面会把主流算法挨个学习一下，包括算法实现。

4-深度学习

深度学习是基于深度神经网络的机器学习方法。上世纪90年代神经网络遇到瓶颈，隐藏层多于两个时学习难度太大，于是被支持向量机占据了主流，直到2006年，神经网络方法获得突破，到现在，深度学习是非常火的方向。