Gibbs Sampling不完全攻略

什么是最大似然估计（Maximum Likelyhood Estimator）？MLE代表观察值最有可能出现次数的情况。

先自定义一个抛掷硬币的场景,我们想要知道出现head的概率是多少？如抛掷一枚硬币10次，得到的结果X=HHHHTTTTTT,出现head的概率为0.4.则这个0.4就是MLE。

现在我们假设一个只含有一个参数pi(表征出现‘头’的概率)的模型U，X继续表示观察值（已发生的情况），y表示下一次抛掷硬币可能出现的情况。则我们的估计有如下形式：

..................（A）

在有些情况下，我们也会用MAP（maximum a posterior）进行概率估计，后验概率估计（MAP）也是事先已经给定了观察值。预测下次出现head的概率有如下形式：

.........(B)

为先验概率（prior）。

可以看到，MLE和MAP均是从很优的概率估计值中进行预测。现在我们丢掉这些信息，在只知道pi属于【0  1】的情况下，进行预测。因为所有的涉及到概率值的判断问题，我们都是在求数据的期望值。现假设一个函数f（z）,z=pi,当f(z)分别取离散值或连续值的时候的期望。哪个代表离散，哪个代表连续，需要注意的是，这里使用的求期望值的方法是两个函数的内积，这是统计学习中经常会出现的表征两个函数相关程度的方式。

对于函数f(z)，我们感兴趣的地方在于:

与此同时，基于函数f(z)的分布为:

所以我们有如下形式的估计，也是期望值的表现形式：

...............(C)

运用Bayes's Rule,

比较A 、B、 C三者的不同，我们发现C 充分的对Pi运用先验知识，以及pi与观察值X的相互关系 对pi产生的影响。

话说回来，在实际运用中，积分往往是很难求的，这和我们在课堂里求一些简单的积分题目有很大的不同。那这种工程上的运用怎么来解决呢？Gibbs sampling 就在这种情况下及时的出现了。它采用从某一分布中采样，以渐近的方式逼近而毋须计算其积分。

http://bbs.byr.cn/#!article/PR_AI/2530?p=1

http://www.xperseverance.net/blogs/tag/lda/