多元梯度下降法演练（1）--特征缩放（特征归一化）,Feature Scaling,mean normalization machine learning

1.目的

将特征值归一化的目的是让代价函数收敛的速度变快。

2.怎么做

2.1 Feature Scaling（特征归一化）

2.1.1 公式

公式为：$$x_{ia}=\frac{x_{ib}}{x_{imax}}$$我们希望将$x_i$的范围控制在$-1\le x_i\le 1$

2.1.2 举例：

假设$x_1$的取值范围是（0,2000）$x_2$的取值范围为{0,1,2,3,4,5}，因为$x_1，x_2$取值范围的巨大差距，导致等值线为
​​​​​​​​​​
可以看见其梯度下降是曲曲折折，路径走的很长。
如果我们将其归一化，即
$$x_1=\frac{x_1}{2000},x_2=\frac{x_2}{5}$$
那么其等值线为

收敛速度很快。

2.1.3 注意

并不需要完全严格的将其幅度控制在$\pm 1$之间，吴恩达教授给我们给出的是大的范围是$$-3\le x_i\le 3$$
小的范围是$$-\frac{1}{3}\le x_i\le \frac{1}{3}$$

2.2 mean normalization(均值归一化)

2.2.1公式

公式为：$$x_i=\frac{x_i-{\mu }_i}{x_{imax}-x_{imin}}$$其中，${\mu }_i$为$x_i$的均值。
范围是$$-0.5\le x_i\le 0.5$$