二项逻辑回归模型（logistic regression model）

Binary logistic regression model

• 是分类模型，由概率分布$P(Y|X)$计算，是参数化的Logistic分布

先概述一下这个模型的条件概率分布

$$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$$

$$P(Y=0|x)=\frac{1}{1+exp(w\cdot x+b)}$$

什么是一个事情的几率？

一件事情发生的概率$p$比上这件事情不发生的概率$1-p$即$\frac{p}{1-p}$

那么对数几率$logit(p)=lo{g}_e\frac{p}{1-p}$

$$logit(p)=lo{g}_e\frac{p}{1-p}=logit(P(Y=1|x))=lo{g}_e(exp(w\cdot x+b))=w\cdot x+b$$
所以对于$Y=1$的对数几率，是一个线性函数

而这个式子$P(Y=1|x)=\frac{exp(w\cdot x+b)}{1+exp(w\cdot x+b)}$，就相当于把$w\cdot x+b$转化为概率，在这种情况下$w\cdot x+b$越接近于正无穷，概率值就越接近1

模型的参数估计

令$P(Y=1|x)=p$ and $P(Y=1|x)=1-p$

那么似然函数就是：# 不懂似然函数，先后面有讲似然函数，看完再回来
$$\prod _{i=1}^N=[p_i{]}^{y_i}[1-p_i{]}^{1-y^i}$$
然后取对数，得到对数似然函数$L(w)$
$$L(w)=\sum _{i=1}^N[y_{i}lo{g}_e{p}_i+(1-y_i)lo{g}_e(1-p_i)]$$
$$=y_{i}lo{g}_e\frac{p_i}{(1-p_i)}+lo{g}_e(1-p_i)$$
$$=(w\cdot x+b)+lo{g}_e\frac{1}{1+exp(w\cdot x+b)}$$

$$=(w\cdot x+b)-lo{g}_e(1+exp(w\cdot x+b))$$

下一步使用梯度下降求使得$L(w)$最大的$w$的值就可以

似然函数和极大似然估计

似然函数的定义是：$L(\theta |x)=f(x|\theta )$
可以看具体数学含义：

本质

数学推理

先看1再看2再看1