CRF:Conditional Random Fields

概率无向图模型：

又称作马尔科夫随机场。所谓随机场，其实是由一种服从某种分布的随机变量组成的，场中某些点之间存在依赖关系，进而形成联合概率分布。

设一个联合概率分布P(Y)和表示它的无向图G=(V,E)，G中随机变量之间存在三种性质：

成对马尔科夫性：

如果u,v之间没有直接概率依赖，且它们对应的条件概率分别为，设u,v以外点的集合为O，对应的随机变量组为，那么就称在给定的条件下是条件独立的，即：

局部马尔科夫性：

如果上述u,v中v变成一组点的集合W，与u有边直接相连的所有点的集合为o，同样的，称在给定的条件下是独立的，即：

当时，有如下等价式：

全局马尔科夫性：

设无向图中集合A、B是被集合C分开的任意点集，对应的随机变量组分别为，那么有在给定的条件下是条件独立的。

全局马尔科夫性

满足以上三种性质任意之一的概率无向图都称为马尔科夫随机场。下面介绍概率无向图中的因子分解机制

概率无向图模型的因子分解

团与最大团：团(Clique)中任意两点之间都有边连接，若向团中再加入任何一点都不再保持团的性质，此时的团就是最大团。

将无向图用最大团做因子分解

设有是无向图G上最大团的集合，那么无向图的概率分布可以分解成它们对应的势函数的乘积，其数学形式为：

，其中i为G中最大团的数量，Z为归一化因子，形式如下：

规范化因子Z确保了P(Y)是一个概率分布（概率分布中每种取值的概率和应为1）。

另外，注意势函数通常定义为指数函数：

从马尔科夫随机场到条件随机场

理解了MRF之后，再理解CRF就非常清晰了：CRF是MRF中只有两种变量：X和Y的一种特殊形式（X是输入，Y是给定X时的输出，在词性标注中，X是词，Y是词性），若Y构成马尔科夫随机场，此时条件概率P(Y|X)就是条件随机场。

线性链条件随机场

当X和Y均为相同长度的线性链表示的随机变量序列时，在给定X的情况下，Y的条件概率分布P(Y|X)构成条件随机场，即满足马尔科夫性：

则称P(Y|X)为线性链条件随机场。

将转化为X和Y序列上每个节点对应的特征函数后，再结合无向图概率分布的因子分解，可以得到Linear-Chain CRF的数学定义：

令X，Y为随机变量，为参数向量，是一组实值特征函数，概率分布P(Y|X)的公式为：

，其中Z是和输入有关的归一化函数：

此处的参数向量可以理解为特征函数集合对应的概率序列（可以结合期望的定义理解），t表示随机变量序列的长度，k是特征函数的个数。不难想象，上面的函数可以表示为下图：

当然，也可以有更多的表现形式，如果将特征函数中输入序列具体化：

为X添加context窗口

或者

依赖

CRF的三种求解方式