深度学习2.2 逻辑回归(Logistic Regression)

我们得到的是一个关于输入$x$的线性函数，但是这对于二元分类问题来讲不是一个非常好的算法，因为你想让$\hat{y}$表示实际值等于1的机率的话，$\hat{y}$应该在0到1之间。这是一个需要解决的问题，因为可能比1要大得多，或者甚至为一个负值。对于你想要的在0和1之间的概率来说它是没有意义的，因此在逻辑回归中，我们的输出应该是等于由上面得到的线性函数式子作为自变量的sigmoid函数中，将线性函数转换为非线性函数。

下图是sigmoid函数的图像，如果我把水平轴作为$z$轴，它是平滑地从0走向1，让我在这里标记纵轴，这是0，曲线与纵轴相交的截距是0.5，这就是关于的sigmoid函数的图像。我们通常都使用$z$来表示$w^{T}x+b$的值。

关于sigmoid函数的公式是这样的，$\sigma (z)=\frac{1}{1+e^{-z}}$,在这里$z$是一个实数，这里要说明一些要注意的事情，如果$z$非常大那么将会接近于0，关于$z$的sigmoid函数将会近似等于1除以1加上某个非常接近于0的项，因为$e$的指数如果是个绝对值很大的负数的话，这项将会接近于0，所以如果$z$很大的话那么关于的sigmoid函数会非常接近1。相反地，如果$z$非常小或者说是一个绝对值很大的负数，那么关于这项会变成一个很大的数，你可以认为这是1除以1加上一个非常非常大的数，所以这个就接近于0。实际上你看到当$z$变成一个绝对值很大的负数，关于的sigmoid函数就会非常接近于0，因此当你实现逻辑回归时，你的工作就是去让机器学习参数$w$以及$b$这样才使得成为对这一情况的概率的一个很好的估计。