Naive Bayes（2018-05-05）

Naive Bayes是一种简单但很重要的概率模型，是一种简单的多类分割算法。

1. 定义：

• 假设所有的特征之间是相互独立的。即每个独立变量x的条件概率p(x|y)是相互独立的。

• 首先计算某个类中每个特征的条件概率p(x|y), 再应用bayes理论来计算

  
  
  

  image.png

2. Naive Bayes的特点

• 基于贝叶斯理论
• 监督学习
• 构造简单
• 与其他模型相比，训练更快
• 常作为校验模型

3. Naive Bayes的应用

• 文件分类：技术、政治、体育
• 垃圾邮件
• 人脸检测

4. Bayes理论

   
   
   

   image.png

5. 对应的Naive Bayes方程变为：

   
   
   

   image.png

6. 避免0频问题

• 定义：训练数据中，类里没有任何变量，任何变量也不能归于某类，那么这种情况的概率就为0。这是有问题的，因为在naive bayes时，相乘后，所有信息都会归0。
• 解法：Laplacian Correction（就是p(x|y)中的x+1，这样p(x|y)就不会为0）