MachineLearning实战_02KNN算法

K-近邻算法

• 采用测量不同特征值之间的距离方法进行分类

• 优点：精度高、对异常值不敏感、无数据输入假定

• 缺点：计算复杂度高、空间复杂度高

• 适用数据范围：数值型和标称型
  标称型：一般在有限的数据中取，而且只存在‘是’和‘否’两种不同的结果（一般用于分类）

  数值型：可以在无限的数据中取，而且数值比较具体化，例如4.02,6.23这种值（一般用于回归分析）

工作原理

存在一个训练样本集，其中的每个数据都存在标签，即对应的类别。输入新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后提取样本集中特征最相似数据（最近邻）的分类标签。一般只选择样本数据集中前k个最相似的数据，通常k不大于20。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

KNN伪代码

对未知类别属性的数据集中的每个点依次执行以下操作：

• 计算已知类别数据集中的点与当前点之间的距离
• 按照距离递增次序排序
• 选取与当前点距离最小的k个点
• 确定前k个点所在类别的出现频率
• 返回前k个点出现频率最高的类别作为当前点的预测分类

KNN实现

import numpy as np
import operator

def createDataSet():
    group=np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    lablels=['A','A','B','B']
    return group,lablels

def classify0(New_data,train_data,labels,k):
    """K-近邻算法

    New_data表示需要预测的数据
    train_data表示训练样本集
    labels表示训练样本集的标签
    """
    train_dataSize=train_data.shape[0] #获取训练集行数，即样本个数
    diffMat=np.tile(New_data,(train_dataSize,1))-train_data
    #tile函数依次将每个输入数据重复train_dataSize次，目的是计算每个输入数据与样本数据的差值
    sqdiffMat=diffMatlabels**2
    sqDistance=sqdiffMat.sum(axis=1) #按行计算和，并取消二维，即组成一维数据，每个数据代表输入数据与每个样本的距离
    distances=sqDistance**0.5
    sortedDistIndicies=distances.argsort() #从小到大排序，返回索引值
    classCount={ }
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]] #获取距离最小的前k个样本对应的标签
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1 #对于相同标签进行累加
    sortedclassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reversed=True)
    #对字典classCount的值进行从大到小排序，key=1表示对字典的值，Reverse表示从大到小
    return sortedclassCount[0][0]

测试分类器

错误率是常用的评估方法，主要用于评估分类器在某个数据集上的执行效果。
计算方法为：分类器给出错误结果的次数除以测试执行的总数。