机器学习（1.2）

机器学习 —— 模型和代价函数

Machine Learning —— Model & Cost Function

---

模型表示 Model Representation——简介

以监督学习中的线性回归举例，其中线性回归输入监督学习中的回归模型，目标是对连续样本数值进行预测和建模

• Notation
  m –训练样本的个数
  x – 输入数据/特征
  y – 输出数据/目标数据

• 训练数据
  (x,y) ( x , y )
  或者表示为：
  (x(i),y(i)) ( x ( i ) , y ( i ) ) i i 表示第 i i 个训练样本

• 训练过程：
  
  Training Set -> Learning Algorithm ->h函数(hypothesis, 该假设函数的确定来源于x和y之间的映射关系)

• h的表示形式：
  假设为一个变量的线性回归的情况下
  hθ(x)=θ0+θ1x h θ ( x ) = θ 0 + θ 1 x

---

代价函数 Cost Function——定义

（题外话）代价函数 cost function, 损失函数 loss function和目标函数 object function 的简单说明
损失函数一般针对单个样本，计算单个样本预测值和实际值之间的差距

∣yi−f(xi)∣ ∣ y i − f ( x i ) ∣

代价函数一般针对整个总体，计算整个数据集损失函数的平均值

1N⋅∑i=1N∣yi−f(xi)∣ 1 N ⋅ ∑ i = 1 N ∣ y i − f ( x i ) ∣

每个算法都有一个 目标函数，算法的目的是为了让该函数达到最优

1N⋅∑i=1N∣yi−f(xi)∣+正则化项 1 N ⋅ ∑ i = 1 N ∣ y i − f ( x i ) ∣ + 正 则 化 项

已知训练集和假设函数 hθ(x)=θ0+θ1x h θ ( x ) = θ 0 + θ 1 x
接下来首先要确定假设函数中的 θ0 θ 0 和 θ1 θ 1 ， θi θ i 为参数， θ θ 的不同导致假设函数的不同
目标：选择 θ0 θ 0 和 θ1 θ 1 ，使得假设函数h尽可能的拟合训练数据，即 hθ(x) h θ ( x ) 尽可能的接近 y y

minθ0,θ112m∑i=1m(hθ(x(i))−y(i))2 m i n θ 0 , θ 1 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2

其中m为训练样本的容量， 12m 1 2 m 求平均从而尽量减少平均误差， (hθ(x(i))−y(i)) ( h θ ( x ( i ) ) − y ( i ) ) 表示第i个样本的预测结果和真实结果之间的差， hθ(x(i))=θ0+θ1x(i) h θ ( x ( i ) ) = θ 0 + θ 1 x ( i )

代价函数定义(代价函数也称为平方误差函数squared error function，或者平方误差代价函数)：

Cost Function:

J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2 J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2

minθ0,θ1 J(θ0,θ1)) m i n θ 0 , θ 1   J ( θ 0 , θ 1 ) )

---

代价函数——Cost Function I

Review

Hypothesis：

hθ(x)=θ0+θ1x h θ ( x ) = θ 0 + θ 1 x

Parameters:

θ0, θ1 θ 0 ,   θ 1

Cost Function:

J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2 J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2

Goal: minimizeθ0,θ1J(θ0,θ1) m i n i m i z e θ 0 , θ 1 J ( θ 0 , θ 1 )

Example

(用简单的假设函数了解代价函数的工作原理)

Hypothesis：

hθ(x)=θ1x h θ ( x ) = θ 1 x

Parameters:

θ1 θ 1

Cost Function:

J(θ1)=12m∑i=1m(hθ(x(i))−y(i))2 J ( θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2

Goal: minimizeθ1J(θ1) m i n i m i z e θ 1 J ( θ 1 )

真实图例：

• θ1=0 θ 1 = 0 的情况下假设函数和代价函数图
  
• θ1=0.5 θ 1 = 0.5 的情况下假设函数和代价函数图
  
• 所有参数和代价函数的对应图
  
  根据以上图例，我们得知，要取得代价函数的最小值，应该选择 θ1=1 θ 1 = 1 的参数表示。

---

代价函数——Cost Function II

Example

(有两个参数情况下的假设函数以及代价函数)

Hypothesis：

hθ(x)=θ0+θ1x h θ ( x ) = θ 0 + θ 1 x

Parameters:

θ0, θ1 θ 0 ,   θ 1

Cost Function:

J(θ0,θ1)=12m∑i=1m(hθ(x(i))−y(i))2 J ( θ 0 , θ 1 ) = 1 2 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) 2

Goal: minimizeθ0,θ1J(θ0,θ1) m i n i m i z e θ 0 , θ 1 J ( θ 0 , θ 1 )

真实图例

• 随机参数 θ θ 对应的图例
  
• θ0=360,θ1=0 θ 0 = 360 , θ 1 = 0 对应图例
  
• 相对接近代价函数最小值对应的图例
  

Goal：找到一种算法，能够自动找到代价函数的最小值对应的参数。