归纳偏置

a bug:以下训练样例无法使用候选消除算法得到目标概念

------------------------------------------------------------------------------------------------------------------------------

Example       Sky         AirTemp      Humidity        Wind         Water        Forecast           EnjoySport

   1               Sunny        Warm          Normal         Strong       Cool           Change                 Yes

   2               Cloudy       Warm          Normal         Strong       Cool           Change                 Yes

   3                Rainy        Warm          Normal         Strong       Cool           Change                 Yes

------------------------------------------------------------------------------------------------------------------------------

无偏的学习器

为了保证目标概念在假设空间中,需要提供一个假设空间,它能表达所有的可教授概念。换言之,它能够表达实例集X的所有可能的子集。一般我们把集合X的所有子集的集合称为X的幂集

在EnjoySport的学习任务中,使用6种属性描述实例空间X,其大小为3*2*2*2*2*2=96,那么子集的大小为2的96次方。

采用无偏的形式描述变型空间则为:假设有三个正例x1,x2,x3,三个反例x4,x5。则S:|(x1∧x2∧x3)|,G:|¬(x4∧x5)|。我们可以看到,在上述表示方法中,S边界总是所有正例的析取式,G边界总是所有反例的析取的否定式。

无偏学习的无用性:学习器如果不对目标概念的形式作预先的假定,它从根本上无法对未见实例进行分类。


归纳偏置:归纳学习需要的某种形式的预先假定。即学习器在从训练样例中泛化并推断新实例的分类过程中采用的策略。

候选消除算法的归纳偏置:目标概念c包含在给定的假设空间H中。

你可能感兴趣的:(归纳偏置)