候选消除算法

假设与样例一致：当一个假设能正确分类一组样例的时候，我们称这个假设是与这些样例一致的。具体定义如下：一个假设h与训练样例集合D一致，当且仅当对D中的每一个样例都有h(x)=c(x)。即：Consistent(h, D)=(∀∈D) h(x)=c(x)。这里的一致和前面定义的满足时不同的。一个样例x无论是目标概念的正例还是反例，在h(x)=1的时候成为满足假设h。然而，这一样例是否与h一致则与目标概念有关，即是否h(x)=c(x)。

变型空间：候选消除算法能够表示与训练样例一致的所有假设。在假设空间中的这一自己被称为关于假设空间H的训练样例D的变型空间，因为它包含了目标概念的所有合理的变型。VSh,d={h∈H | Consistent(h, D)}。

列表后消除算法：获取变型空间

1.变型空间VersionSpace<-包含H中的所有假设的列表

2.对每个训练样例，从变型空间中移除所有h(x) != c(x)的假设h

3.输出VersionSpace中的假设列表

列表后消除算法首先将变型空间初始化为包含H中所有的假设，然后从中去除与任一训练样例不一致的假设。包含候选假设是变型空间随着观察到越来越多的样例缩减，直到只剩一个（理想情况下）与所有样例一致的假设，这可能就是所有的目标概念。如果没有充足的数据使得变型空间缩减到只有一个假设，那么该算法将输出一个集合，这个集合中所有的假设与训练样例都一致。

一般边界：关于假设空间H和训练数据D的一般边界G，是在H中与D相一致的最一般（maximally general）成员的集合。

特殊边界：关于假设空间H和训练数据D的特殊边界S，是在H中与D相一致的最特殊（maximally specific）成员的集合。

变型空间的表示定理：令X为一个任意的实例集合，H为X上的定义的布尔假设的集合。令c：X->{0, 1}为X上定义的任一目标概念，并令D为任一训练样例的集合{}。对于一个假设空间子集H的任一一个h，如果存在一个s∈S，一个g∈G，而且这个h处于s和g之间，则这个假设空间子集就是该假设空间的变型空间。

使用变型空间的候选消除算法：

将G集合初始化为H中最一般假设

将S集合初始化为H中最特殊假设

对每个训练样例d，进行以下操作：

如果d是一个正例

====从G中移去所有与d不一致的假设

====从S中每个与d不一致的假设s

========从S中移去s

========把s的所有的极小泛化式h加入到S中，其中h满足

============h与d一致，而且G的某个成员比h更一般

========从S中移去所有这样的假设：它比S中的另一个假设更一般，也就是留下最特殊的？

如果d是一个反例

====从S中移去所有与d不一致的假设

====从G中每个与d不一致的假设g

========从G中移去g

========把g的所有的最特殊化式h加入到G中，其中h满足

============h和d一致，而且S的某个成员比h更加特殊

========从G中移去所有这样的假设：它比G中另一假设更特殊，也就是留下最一般的？

查询：表示学习器建立的用于由外界进行分类的实例。而概念学习的最优查询策略，是产生实例以满足当前变型空间中大约半数的假设。这种查询是最有分类歧义性的，也是最能提供新的分类信息的。