分类-逻辑斯谛回归

1.简介

逻辑斯谛回归, Logistic Regression. 一个线性二分类算法.
名字中有Logistic, 但跟逻辑没什么关系, 名字中有Regression, 但更是一个分类算法. 所以没有像很多书中那样叫做逻辑回归, 而叫逻辑斯谛回归.
Logistic Regression 这个名字之所以被这么叫, it was given for historical reasons.
coursera中machine learning课程有一节讲到逻辑斯谛回归, 课程地址

2. Logistic Distribution

定义:
设X为连续随机变量, 若它具有 式(1) 的分布函数, 则成 X 服从逻辑斯蒂分布.

F(x)=P(X≤x)=11+e−x(1)

图1 Standard logistic sigmoid function 值域为[0,1]

形状是S型, 所以也称 sigmoid 曲线, 记为 σ(x)=F(x) .

3. 二分类模型

设, 二分类问题中的随机变量 X∈Rn,Y∈{0,1} .
则定义

P(Y=1|X=x)=σ(wTx)P(Y=0|X=x)=1−P(Y=1|X=x)

即

P(Y=y|X=x)=[σ(wTx)]y×[1−σ(wTx)]1−y

为二分类逻辑斯蒂回归模型, 其中参数 w∈Rn .
可以对比一下线性回归, 逻辑斯蒂回归只是将线性回归用在了逻辑斯蒂分布上, 嘿嘿.

4.目标函数

似然函数为:

L(w)=∏i=1NP(yi|xi)

对数似然函数为:

L(w)=log∏i=1NP(yi|xi)=∑i=1NlogP(yi|xi)=∑i=1Nlog{[σ(wTxi)]yi×[1−σ(wTxi)]1−yi}=∑i=1N{yilogσ(wTxi)+(1−yi)log[1−σ(wTxi)]}

5.求解

这样, 问题就变成了以对数似然函数为目标函数的最优化问题, 逻辑斯蒂回归学习中通常采用的方法是 梯度下降法及拟牛顿法.