广义线性模型(Generalized Linear Models)-cs229 lecture4

学习cs229时看到了广义线性模型，所谓广义，应该就是使用这个模型可以将大多数的概率分布模型统一化，可以使用这个模型推导出像sigmoid,softmax之类的函数形式。在这里记录一下学到的相关内容，便于以后回顾。

指数族

概率统计中的很多分布都可以表示为指数族的形式，指数族的通用表示如下：

    （1）

其中是这个分布的natural parameter或者叫做cononical parameter。

是sufficient statistic，一般情况下

是log partition function

固定后就决定了一种分布集，是这个分布集的参数。比如伯努利分布，，其中就是伯努利分布中的可变参数，代表着伯努利分布中的不同分布形态。而固定某组可以将指数族变为伯努利形式。并且与是相关的。

结构GLMs

我们的目的是通过给定的x来估计出y，为此我们有三个假设，或者叫做我们模型的设计：

1. 服从指数族分布
2. 给定x，我们希望预测，因为大多数情况下，这就意味着我们希望假设函数
3. 指定

使用指数族的表示形式和这三条假定来推导三种模型

普通最小二乘法

最小二乘法是用来解决y是连续值的情况，我们可以假定y是服从高斯分布，而高斯分布是指数族的一种，推导公式如下：

对于这个式子而言是缩放因子，为了简化推导可以假设其为1，如果不使用这个假设结果没有差别，只是需要加上作为一个因子。

对比公式1，其实可以看出如果，，(因为是实数，所以转置是一样的效果)，那么高斯分布就是指数族中的一种。

而

这样就推导除了最小二乘法时的假设函数就是

逻辑回归

逻辑回归的y取值只能是0或者1，很自然我们可以把y的分布假设为伯努利分布。

对比公式1，可以看出如果，，，

通过可以推导出

而

与我们逻辑回归中设计的sigmoid是一至的形式。

softmax回归

softmax回归是相对逻辑回归的扩展，逻辑回归中y只能取值0或者1，而softmax回归中y可以取值1,2，...，k，一种有k种可能性，这种需求在实际中应用也是非常的光。

y对每一种可能性的概率为，i取值从1到k，并且有，所以我们只需要个变量就可以表达所有概率

...

为了能够表达为指数族的形式，我们定义

，，，...，，

表示向量的第i个元素。引进一个符号，括号内如果为True，那么这个值为1，括号内如果为False，那么这个值为0

，

那么，因为当y为i时，的第i项为1，当y不等于i的时候的第i项肯定为0

因为y的取值会是1到k之间，如果y为1，那么其他项都会是1

而因为y只会取其中一个值，所以求和的所有式子中只有一个为1，其他为0，将这个式子代入上面的式子可以得到

合并式子

跟指数族的公式比较，可以得到

所以，因此

而，所以，因此代入上一行的式子可以得到

下面开始推导

这就是softmax函数的形式，可以预测多分类问题。

其实广义线性模型还可以用来分析很多其他的分布，因为并不常用，这里就不推导了。之前看了很久的sigmoid，softmax，在这里总算找到出处，也算是收货满满。