极大似然参数估计

四、极大似然参数估计

         此篇博文，玉米将和大家分享一下“张氏标定”除几何推导外的另外一大精髓：参数估计。

         张教授在大作“A Flexible New Technique for Camera Calibration”中的原话如下：” The above solution is obtained through minimizing an algebraic distancewhich is not physically meaningful. We can refine it through maximum likelihoodinference”.意思是：上面的几何推导仅仅是纯代数上的拟合，没有物理意义。下面让我们通过极大似然理论对得到的结果进行改善。

       顺着张教授的意思，玉米先在这里为大家从概念上讲述一下极大似然估计。

       极大似然估计是一种估计总体未知参数的方法。它主要用于点估计问题。所谓点估计是指用一个估计量的观测值来估计未知参数的真值。说穿了就一句话：就是在参数空间中选取使得样本取得观测值的概率最大的参数。

       我们定义似然函数：

       总体分布为离散型的：（p是已知的分布律）

 

        总体分布为连续性的：（f为概率密度函数）

        极大似然法就是在的可取范围内，挑选出来的使L达到最大的未知参数的估计值。

         如果在内：，那么就称为极大似然估计值。

            列了这么一大圈儿概念，估计大家看的都昏昏入睡了。玉米在这里用通俗点儿的方式解释一下极大似然估计：

        对很多实验，我们可以观察到样本，但影响样本的参数却是未知的。那我们就得对样本进行估计。既然我们要去估计，那么就想要估计的准。极大似然法就只在概率分布的观念下，指导我们估计的更准的方法。现实世界中，存在着一条普遍规律：与现实相差越远的概率越小。这就相当于人群中，非主流总是比主流要少一样，偏差大的总是占少数。所以，可能发生的概率越大就会越接近真实值。极大似然法就是应用这种思想，认为可能性最大的就是最优的估计值。即极大似然估计值就是最接近真实值的参数值。

          那么，极大似然为什么有这么一个别致的名字呢？什么是似然呢？是因为估计值不是随机变量，所以不能把它的可能性称为概率，那么数学家们就想了这样(likelihood)一个名字来代表可能性。

       极大似然法的一些概念上的问题玉米就讲到这里了。下面然玉米带这大家分析一个具体问题：张教授在张氏标定法中所用的极大似然估计。

       首先来看一下，为什么标定的内外参数可以用极大似然法进行估计：

       因为我们是假定图像上的角点是被噪声干扰的，且我们认为这些噪声是高斯噪声。那么对于噪声的幅度就是给观测值造成的误差。但高斯噪声的概率密度我们是已知的，所以我们可以用前面所述的极大似然估计的思想去“猜”真值。

       那么接下来我们就需要构造一个似然函数，然后寻找其最大值了。张教授在文章中直接略过推导，直接给出了公式：

         说当此式取得最小值时，就是参数的最大似然估计值。

       玉米在这里为大家讲一下自己的理解：

       设，角点附近的噪声服从高斯分布

       则：角点m_ij的样本值服从如下，概率密度函数：

       现在构造，似然函数：

        现在让L取得最大值，则可令下式最小：

        那么怎么令上面这个目标函数达到最小值呢，张氏标定法运用了可以用来解决多参数非线性系统优化问题的Levenberg-Marquardt算法。对于该方法，详细的介绍大家可以参照《The levenberg-marquardt algorithm, implementation andtheory》一文进行深入了解。这里给出下载本文的链接：

http://link.springer.com/chapter/10.1007%2FBFb0067700

         那么张氏标定法在不考虑镜头畸变的情况下的，获取摄像机内外参数的数理推导过程。玉米就为大家讲到这里了。下面一篇博文，玉米会给大家分析一下，张氏标定法是怎样分析摄像机的非线性畸变的。