【机器学习（周志华）】 绪论

• 基本术语

• 假设空间与版本空间

• 归纳偏好

---

主要记录归纳偏好中的内容

 奥卡姆剃刀：若有多个假设与观察一致，则选择最简单的那个。

没有免费的午餐(No Free Lunch Theorem,简称NFL定理)：

        最后公式化简后， ，关于算法的变量被消掉，也就是说总误差与学习算法无关。

        但是，需要值得注意的是NFL定理有一个重要前提：所有 “问题” 出现的机 会相同，或所有问题同等重要，即所有可能的 f 按均匀分布。因此必须清楚 地认识到， 脱离具体问题空谈 “什么算法更好” 毫无意义。学习算法自身的 归纳偏好与问题是否相匹配，起到决定性作用。