人工智能：特征预处理

特征预处理

什么是特征预处理

通过特定的统计方法（数学方法）将数据转换成算法要求的数据

数值型数据转换方法：

1. 标准缩放
2. 归一化：觉得特征同等重要的时候使用归一化
3. 缺失值
   类别型数据：one-hot编码
   时间类型:时间的切分

特征类处理的api

• sklearn.preprocessing

归一化

特点：通过对原始数据进行变换把数据映射到默认为[0,1]之间

公式:
注：作用于每一列，max为一列的最大值，min为一列的最小值，那么x’'为最终结果，mx，mi分别为指定区间值mx为1 mi为0

公式使用

特征1	特征2	特征3	特征4
90	2	10	40
60	4	15	45
75	3	13	46

举第一个样本第一个例子为例：
x’=90-60/90-60=1
x’’=1*(1-0)+0=1
结果为1
通多这种方式将数值数据缩小到0-1之间

sklearn归一化api

sklearn归一化api：sklearn.preprocessing.MinMaxScaler

MinMaxScaler 语法

• MinMaxScaler(feature_range=(0,1)…)

• 每个特征缩放到给定范围默认（0，1）
• MinMaxScaler.fit_transform(X)

• X:numpy array格式的数据[n_samples,n_features]
• 返回值：转换后的形状相同的array

归一化步骤：

1. 实例化MinMaxScaler
2. 通过fit_transform转换

归一化代码实现

def guiyi():
    mm=MinMaxScaler()
    data=mm.fit_transform([[90,2,10,48],[60,4,15,45],[75,3,13,46]])
    print(data)

运行结果

归一化:使得某个特征对最终结果不会造成更大影响

标准化

1. 特点：通过对原始数据进行变换把数据变换到均值为0，方差为1范围内
2. 公式x’=x-mean/@
3. 注：作用于每一列，mean为平均值，@为标准差
   var成为方差，var=（x1-mean)^2+(x2-mean)2+(x3-mean)^2+…/n(每个特征样本数)，@=根号下var
   其中：方差（考量数据稳定性）

计算

特征1	特征2	特征3	特征4
90	2	10	40
60	4	15	45
75	3	13	46

方差：数据集中方差小，数据散方差大

sklearn特征化API

sklearn特征化API：sklearn.processing.StandardScaler

StandardScaler语法

• StandardScaler(…)
• 处理之后每列来说所有数据都集中在均值0和1附近 标准差为1
• StandardScaler.fit_transform(X)

• X:numpy array格式的数据[n_samples,n_features]
• 返回值：转换后的形状相同的array

• StandardScaler.mean_

• 原始数据中每列特征的平均值

• StandardScaler.std_

• 原始数据每列特征的方差

代码

from sklearn.feature_extraction import DictVectorizer
from sklearn.feature_extraction.text import CountVectorizer,TfidfVectorizer
from sklearn.preprocessing import MinMaxScaler,StandardScaler
import jieba

def dictvet():
    # mydict=DictVectorizer(sparse=False)
    # # 调用fit_transform
    # data=mydict.fit_transform([{'city':'上海','temp':37},{'city':'北京','temp':39},{'city':'深圳','temp':38}])
    # print(data)
    # print(mydict.get_feature_names())
    cv=CountVectorizer()
    data=cv.fit_transform(["人生苦短，我用python","人生苦短，我用java","人生漫长，我不用python"])
    print(cv.get_feature_names())
    print(data.toarray())
    return  None

def tfidfvet():
    word1="君子在下位则多谤，在上位则多誉；小人在下位则多誉，在上位则多谤。"
    word2="你若要喜爱你自己的价值，你就得给世界创造价值。"
    word3="如果我们想交朋友，就要先为别人做些事——那些需要花时间、体力、体贴、奉献才能做到的事"
    list_1=list(jieba.cut(word1))
    list_2=list(jieba.cut(word2))
    list_3=list(jieba.cut(word3))
    jieba_1=" ".join(list_1)
    jieba_2=" ".join(list_2)
    jieba_3=" ".join(list_3)
    cv=TfidfVectorizer()
    data=cv.fit_transform([jieba_1,jieba_2,jieba_3])
    print(cv.get_feature_names())
    print(data.toarray())

def guiyi():
    mm=MinMaxScaler()
    data=mm.fit_transform([[90,2,10,48],[60,4,15,45],[75,3,13,46]])
    print(data)

    return None

def Biaozhunsuofang():

    std=StandardScaler()
    data=std.fit_transform([[1,4,3],[2,5,3],[4,1,3]])
    print(data)
    return None

def main():
    # dictvet()
    # tfidfvet()
    # guiyi()
    Biaozhunsuofang()
if __name__ == '__main__':
    main()

运行结果：

缺失值处理

思想：

1. 删除 一般不建议
2. 填补 差补平均值，中位数 按照每行每列填补 ，一般按照特征处理

缺失值处理lmputer语法

• lmputer(missing_values=‘NaN’,strategy=‘mean’,axis=0)

• 完成缺失值插补
• lmputer.fit_transform(X)

• X:numpy array格式的数据[n_ssamples,n_features]
• 返回值：转换后的形状相同的array

填补缺失值：sklearn.preprocessing.Imputer(missing_values=’NaN’, strategy=’mean’, axis=0, verbose=0, copy=True)

主要参数说明：

missing_values：缺失值，可以为整数或NaN(缺失值numpy.nan用字符串‘NaN’表示)，默认为NaN

strategy：替换策略，字符串，默认用均值‘mean’替换

①若为mean时，用特征列的均值替换

②若为median时，用特征列的中位数替换

③若为most_frequent时，用特征列的众数替换

axis：指定轴数，默认axis=0代表列，axis=1代表行

copy：设置为True代表不在原数据集上修改，设置为False时，就地修改，存在如下情况时，即使设置为False时，也不会就地修改

①X不是浮点值数组

②X是稀疏且missing_values=0

③axis=0且X为CRS矩阵

④axis=1且X为CSC矩阵

statistics_属性：axis设置为0时，每个特征的填充值数组，axis=1时，报没有该属性错误

以X为数组为例：