机器学习常用算法整理

机器学习常用算法整理

机器学习领域有一条“没有免费的午餐”定理，没有任何一种算法能适用于所有问题，特别是在监督学习中。要判断算法优劣，数据集的大小和结构等众多因素都至关重要。
机器学习算法大多可描述为：学习一个目标函数f，它能够最好地映射出输入变量X到输出变量Y。即：学习Y=f（X）的映射，针对新的X预测Y。

一、 监督学习

1.1、决策树（Decision Trees）

决策树是一种用于对实例进行分类的树形结构。决策树由节点（node）和有向边（directed edge）组成。节点的类型有两种：内部节点和叶子节点。其中，内部节点表示一个特征或属性的测试条件，叶子节点表示一个分类。

决策树学习的关键是如何选择最优划分属性。我们希望决策树的分直接点所包含的样本集可能属于同一类别，即节点的“纯度”（purity）高。

数据集的纯度可用信息熵（information entropy）来度量：

1.1.1、ID3

ID3决策树学习算法是以信息增益为准则来选择划分属性的。

信息增益越大，获得的纯度提升也越大。

1.1.2、C4.5

信息增益准则对可取值数目较多的属性有所偏好，为减少这种偏好带来的不利：
C4.5决策树算法是使用增益率来选择最优划分属性。

1.1.3、CART

CART决策树算法使用基尼指数来选择划分属性。

剪枝（pruning）是决策树学习算法对付过拟合的主要手段。
过拟合：决策树把训练集自身的一些特点当做所有数据都具有的一般性质。原因是树中的节点太多。
决策树剪枝的基本策略有预剪枝（prepruning）和后剪枝（postpruning）。

1.2、朴素贝叶斯分类（Naive Bayesian classification）

应用举例：判断垃圾邮件，影评分类

当给定一条影评后，我们需要判断出是好评还是差评，用$P\left(Y\right)$表示影评为好评或差评的概率，每一条影评中，每个单词出现的概率用$P\left(X\right)$表示，在相应类别评论中单词$X$出现的概率为$P\left(X\mid Y\right)$，最终结果即为求已知某条评论中所有单词出现的概率，求该评论对应的类别$P\left(Y\mid X\right)$.

条件概率公式：
$P(X=x|Y=y)=\frac{P(X=x,Y=y)}{P(Y=y)}$

全概率公式：$P(X=x)=$