100-Days-Of-ML系列Day4、

逻辑回归

逻辑回归（Logistic Regression）是用于处理分类问题的一种算法，常用于二分类的处理，当然也可以处理多分类问题。它的思想是基于线性回归，实质上是一种广义线性回归模型。
对于逻辑回归模型，最核心的部分就是引进了sigmoid函数。如下图：

通过sigmoid函数，可以将任意的输入映射到[0,1]之间，对于二分类问题，我们可以认为这样的输出值就是一个概率。
下面给出逻辑回归的数学推导过程：
$h_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}}$
对sigmoid函数求导：
$\begin{array}{l}{g}^{\prime }\left(x\right)={\left(\frac{1}{1+e^{-x}}\right)}^{\prime }=\frac{e^{-x}}{{\left(1+e^{-x}\right)}^2}\\ =\frac{1}{1+e^{-x}}\frac{e^{-x}}{1+e^{-x}}=\frac{1}{1+e^{-x}}\left(1-\frac{1}{1+e^{-x}}\right)\\ =g\left(x\right)\left(1-g\left(x\right)\right)\end{array}$
逻辑回归参数估计：
假定：$\begin{array}{l}P\left(y=1|x;\theta \right)=h_{\theta }(x)\\ P\left(y=0|x;\theta \right)=1-h_{\theta }(x)\end{array}$
则有：$p\left(y|x;\theta \right)={\left(h_{\theta }(x)\right)}^y{\left(1-h_{\theta }(x)\right)}^{1-y}$
似然函数：
$\begin{array}{l}L\left(\theta \right)=p\left(y|x;\theta \right)\\ =\prod _{i=1}^{m}p\left(y^{\left(i\right)}|x^{\left(i\right)};\theta \right)\\ =\prod _{i=1}^m{\left(h_{\theta }(x^{\left(i\right)})\right)}^{y^{\left(i\right)}}{\left(1-h_{\theta }(x^{\left(i\right)})\right)}^{1-y^{\left(i\right)}}\end{array}$
对数似然函数：
$\begin{array}{l}l\left(\theta \right)=\log L\left(\theta \right)\\ =\sum _{i=1}^m{y}^{\left(i\right)}\log h\left(x^{\left(i\right)}\right)+\left(1-y^{\left(i\right)}\right)\log \left(1-h\left(x^{\left(i\right)}\right)\right)\end{array}$
求偏导：
$\begin{array}{l}\frac{\partial }{\partial {\theta }_j}l\left(\theta \right)=\left(y\frac{1}{g\left({\theta }^{T}x\right)}-\left(1-y\right)\frac{1}{1-g\left({\theta }^{T}x\right)}\right)\frac{\partial }{\partial {\theta }_j}g\left({\theta }^{T}x\right)\\ =\left(y\frac{1}{g\left({\theta }^{T}x\right)}-\left(1-y\right)\frac{1}{1-g\left({\theta }^{T}x\right)}\right)g\left({\theta }^{T}x\right)\left(1-g\left({\theta }^{T}x\right)\right)\frac{\partial }{\partial {\theta }_j}{\theta }^{T}x\\ =\left(y\left(1-g\left({\theta }^{T}x\right)\right)-\left(1-y\right)g\left({\theta }^{T}x\right)\right)x_j\\ =\left(y-h_{\theta }\left(x\right)\right)x_j\end{array}$
参数的迭代：${\theta }_j$:=KaTeX parse error: Expected '}', got 'EOF' at end of input: …left( i \right)
以上就是逻辑回归的全部推导过程，有了参数更新公式，利用梯度下降便可以求解。