贝叶斯学派和频率学派的一点感悟

    引言：我这人看书有个毛病，喜欢刨根问底，有人觉得是好事啊，这样明明白白做人；但有时候也未必，原因在于你没有足够的时间去深究。那么，这次我为什么会思考贝叶斯和频率学派这个问题呢？

       首先来源于自己正在读研，搞过数据挖掘的朋友应该都听过经典的PRML（Patterrn Recogniztion and Machine Learning），其中看到第一章时候有句话叫“”包括从后面作者对一些概念的陈述无时不刻地告诉我们：老子我是信贝叶斯的，要看我这本书先同意贝叶斯学派!

可能之前从没有什么疑问，这大概就是因为无知的时候无知，过了无知的线后更加无知。于是我就翻回去看贝叶斯的公式：

实际上在学习概率统计的时候我也有过这样的疑问，这个公式为什么长这样？似乎教科书上只有一些证明，没有告诉我们Really why.于是我希望借此机会好好弄明白这个问题。

回顾一下，我们从小学到中学最初接触到的概率模型是怎么样的？

“现在需要估计鱼塘里的鱼，老王捞了20只后都标记了重新放入水塘，再次捞了100只起来发现有5只身上有标记，请估计鱼塘里鱼的数量。”

很显然，这是利用了抽样调查的统计方法去估计，这个思维也贯穿了我们早起的概率印象：基于真是数据来推出客观事实。其中，鱼塘可以看成一个随机过程的容器，为这些带标记的鱼奠定了它们成为随机变量的基础。

然而，生活和实际应用中我们很多时候是没办法做抽样调查的，比如导弹……

忽然有点明白：

最大似然法：http://blog.sina.com.cn/s/blog_5ecfd9d90100lh1c.html

这篇博文举得例子循序渐进，很有思考意义。实际上如果仅仅用“是否加入了主观推测”这个来判断贝叶斯和频率派是不严密的，因为频率学派在假定一个模型的时候本身就加入了基于经验和主观的思考！回过头来看看这篇博文的例子，传统方法中，我们是先假定一个模型再去预估各种情况出现的概率；而日常生活中我们常常会有一些先验的知识和观测值，那么我们就会想怎么将这些东西引入带概率统计中呢？P(Data|theta)这种方式是告诉我们在某种概率模型下，取到的数据集Data概率为多大，显然概率越大代表越可能是这种模型。

除了一些博文，豆瓣上的一个讨论组让我看到了很多不一样思维的观点。