特征缩放(feature scaling)

特征缩放的一些方法

Feature scaling (数据规范化) 是数据挖掘或机器学习常用到的步骤，这个步骤有时对算法的效率和准确率都会产生巨大的影响。

对精度的影响

这个步骤的必要性要依赖于数据特征的特性，如果有>=2特征，并且不同特征间的值变化范围差异大，那就很有必要使用Feature scaling。比如说，在信用卡欺诈检测中，如果我们只使用用户的收入作为学习特征，那就没有必要做这个步骤。但是如果我们同时使用用户的收入和用户年龄两个特征的话，在建模之前采用这个步骤就很有可能能提高检测精度，这是因为用户收入这个特征的取值范围可能为[50000,60000]甚至更大，但用户年龄只可能是[20,100]左右，这时候，假如说我用K最近邻的方法去做检测的话，用户收入这个特征的相似度对检测结果的影响将会大大大于用户年龄的作用，然而事实上，这两个特征对欺诈检测可能有着同等的重要性。因此，假如我们在检测实施前，对着两个特征进行规范化，那我们的检测方法中就能真正地同等对待它们。

调节比例（Rescaling）

将数据的特征缩放到[0,1]或[-1,1]之间。缩放到什么范围取决于数据的性质。对于这种方法的公式如下：

1） x        是最初的特征值，  x′是缩放后的值。

xi' = (xi - a) / b

2）其中a可以为特征xi的均值，b则可以为xi的最大值、（最大值 - 最小值）、 标准差等。

标准化(Standardization)

特征标准化使每个特征的值有零均值(zero-mean)和单位方差(unit-variance)。这个方法在机器学习地算法中被广泛地使用。例如：SVM，逻辑回归和神经网络。这个方法的公式如下：

两种归一化方法的适用场景

• 在不涉及距离度量、协方差计算、数据不符合正太分布的时候，可以使用第一种方法或其他归一化方法。比如图像处理中，将RGB图像转换为灰度图像后将其值限定在[0 255]的范围
• 在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，第二种方法(Z-score standardization)表现更好。