【数学基础】第十三课：参数估计

1.参数估计

参数估计是统计推断的一种。根据从总体中抽取的随机样本来估计总体分布中未知参数的过程。

从估计形式看，可分为：

1. 点估计。
2. 区间估计。

1.1.参数估计和假设检验

参数估计和假设检验是统计推断的两个组成部分，它们都是利用样本对总体进行某种推断，但推断的角度不同。

参数估计讨论的是用样本统计量估计总体参数的方法，总体参数在估计前是未知的。

而在假设检验中，则是先对总体参数值提出一个假设，然后利用样本信息去检验这个假设是否成立。

2.点估计

点估计是用样本统计量来估计总体参数，因为样本统计量为数轴上某一点值，估计的结果也以一个点的数值表示，所以称为点估计。

本文主要介绍两种点估计的方法：

1. 矩估计。
2. 极大似然估计。

2.1.矩估计

矩估计的基本思想是根据大数定律，利用样本矩对总体分布矩进行估计。然后利用总体矩与参数的关系来对参数进行估计。

接下来通过两个例子来说明下矩估计的用法。

2.1.1.例子一：两点分布的矩估计

X服从两点分布取值为{-1,1}，$P(-1)=1-\theta ,P(1)=\theta$。现在独立重复实验n次，得到样本$X_1,...,X_n$。请利用矩估计来估计参数$\theta$。

首先考虑哪一个矩可以用来估计参数$\theta$，先尝试计算其一阶原点矩和二阶原点矩分别为：

$$E(X)=(1-\theta )\cdot (-1)+\theta \cdot 1=2\theta -1$$

$$E(X^2)=(1-\theta )\cdot 1+\theta \cdot 1=1$$

我们可以看到二阶原点矩和参数$\theta$没有关系，而一阶原点矩和$\theta$的关系如下：

$$\theta =\frac{1+E(X)}{2}$$

因此我们使用一阶原点矩进行总体参数的估计：

$$\hat{\theta }=\frac{1+\bar{X}}{2}$$

2.1.2.例子二：正态分布的矩估计

X服从参数为$\theta =(\mu ,\sigma )$的正态分布，独立重复实验n次得到样本$X_1,...,X_n$。请利用矩估计来估计参数$\theta$。

首先考虑哪一个矩可以用来估计参数$\theta$，先尝试计算其一阶、二阶和三阶原点矩：

1. $E(X)=\mu$
2. $E(X^2)={\mu }^2+{\sigma }^2$
3. $E(X^3)={\mu }^3+3\mu {\sigma }^2$

原则上二阶矩和三阶矩都可以用来估计参数$\theta$，所以矩估计一般来讲是不唯一的。当有多种选择的时候，我们尽可能选择阶数较小的矩：

$$\hat{\mu }=\bar{X};\hat{\sigma }=\sqrt{\overline{X^2}-{\bar{X}}^2}$$

2.2.极大似然估计

给定随机变量的分布与未知参数，利用观测到的样本计算似然函数。选择最大化似然函数的参数作为参数估计量。

之前博客中已经介绍过该概念，在此不再赘述，请点击下方链接跳转：

1. 最大似然估计
2. 似然函数（即以参数为自变量的函数）

接下来依旧以正态分布为例，使用极大似然估计对其进行参数估计。

2.2.1.例子一：正态分布的极大似然估计

X服从参数为$\theta =(\mu ,\sigma )$的正态分布，独立重复实验n次得到样本$X_1,...,X_n$。请利用极大似然估计来估计参数$\theta$。

构建其似然函数为：

$$\begin{array}{rl}L(\mu ,{\sigma }^2)& =\prod _{i=1}^{n}f(X_i;\mu ,{\sigma }^2)\\ & =\prod _{i=1}^n\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(X_i-\mu {)}^2}{2{\sigma }^2})\\ & =(\frac{1}{\sqrt{2\pi }\sigma }{)}^{n}exp(-\sum _{i=1}^n\frac{(X_i-\mu {)}^2}{2{\sigma }^2})\\ & =(2\pi {\sigma }^2{)}^{-\frac{n}{2}}exp(-\sum _{i=1}^n\frac{(X_i-\mu {)}^2}{2{\sigma }^2})\end{array}\text{\hspace{1em}(1)(2)(3)(4)}$$

1. 式(1)以概率密度的乘积作为似然函数。相比加法，更能简化计算。
2. 式(2)为正态分布的概率密度函数。

为了简化计算，这里取对数似然：

$$\begin{array}{rl}\ln L(\mu ,{\sigma }^2)& =\ln ((2\pi {\sigma }^2{)}^{-\frac{n}{2}}exp(-\sum _{i=1}^n\frac{(X_i-\mu {)}^2}{2{\sigma }^2}))\\ & =\ln ((2\pi {\sigma }^2{)}^{-\frac{n}{2}})+\ln (exp(-\sum _{i=1}^n\frac{(X_i-\mu {)}^2}{2{\sigma }^2}))\\ & =-\frac{n}{2}\ln (2\pi {\sigma }^2)-\sum _{i=1}^n\frac{(X_i-\mu {)}^2}{2{\sigma }^2}\\ & =-\frac{n}{2}(\ln (2\pi )+\ln {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\\ & =-\frac{n}{2}\ln (2\pi )-\frac{n}{2}\ln {\sigma }^2-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\end{array}\text{\hspace{1em}(5)(6)(7)(8)(9)}$$

上述推导用到以下公式：

1. ${\log }_{a}MN={\log }_{a}M+{\log }_{a}N$。
2. ${\log }_a\frac{M}{N}={\log }_{a}M-{\log }_{a}N$。
3. ${\log }_a{M}^n=n{\log }_{a}M$。

然后分别对$\mu ,{\sigma }^2$求偏导数，并使其等于0，即极值点（${\sigma }^2$看作一个整体求偏导）：

$$\frac{\partial \ln L}{\partial \mu }=\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu )=0$$

$$\frac{\partial \ln L}{\partial {\sigma }^2}=-\frac{n}{2{\sigma }^2}+\frac{1}{2{\sigma }^4}\sum _{i=1}^n(X_i-\mu {)}^2=0$$

化简可得最终的参数估计结果：

$$\hat{\mu }=\frac{1}{n}\sum _{i=1}^n{X}_i=\bar{x}$$

$$\widehat{{\sigma }^2}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{x}{)}^2$$

2.3.点估计的评判准则

如果我们使用不同的点估计方法得到了不同的参数估计量，那么我们应该选择哪一个作为最终的参数估计量呢？这个时候我们就需要一个点估计的评判准则来帮我们做出决定。

点估计的评判准则有很多，这里只给出较常用的四个：

1. 相合性(consistency)：当样本数量趋于无穷时，估计量收敛于参数真实值。
2. 无偏性(bias)：对于有限的样本，估计量所符合的分布之期望等于参数真实值（即估计的参数的期望等于参数真实值）。
3. 有效性(efficiency)：估计值所满足的分布方差越小越好。
4. 渐进正态性(asymptotic normality)：当样本趋于无穷时，去中心化去量纲化的估计量符合标准正态分布。

接下来我们对前三个准则进行详细的说明。

2.3.1.无偏性

定义：

设$\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)$是参数$\theta$的一个估计量，如果$E(\hat{\theta })$存在，且$E(\hat{\theta })=\theta$，则称$\hat{\theta }$为$\theta$的无偏估计量，也称$\hat{\theta }$作为$\theta$的估计具有无偏性。否则称$\hat{\theta }$是$\theta$的有偏估计量。

其中，$E(\hat{\theta })-\theta$称为系统误差。无偏估计就意味着没有系统误差。

设$\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)$是参数$\theta$的一个估计量，如果$E(\hat{\theta })$存在，且${\lim }_{n\to \infty }E(\hat{\theta })=\theta$，则称$\hat{\theta }$为$\theta$的渐进无偏估计量。

以2.2.1部分的结果为例，其实我们得到的$\widehat{{\sigma }^2}=\frac{1}{n}{\sum }_{i=1}^n(X_i-\bar{x}{)}^2$是${\sigma }^2$的有偏估计量。${\sigma }^2$的无偏估计量应该为$\frac{1}{n-1}{\sum }_{i=1}^n(X_i-\bar{x}{)}^2$。

2.3.2.有效性

当针对同一问题，我们得到的无偏估计量有多个时，怎么去选择或者说比较其之间的优劣呢？答案就是通过“有效性”这一评判准则。

⚠️“有效性”准则使用的前提必须是在无偏估计量之间。

定义：

$\widehat{{\theta }_1}=\widehat{{\theta }_1}(X_1,X_2,...,X_n),\widehat{{\theta }_2}=\widehat{{\theta }_2}(X_1,X_2,...,X_n)$是$\theta$的无偏估计量，如果$D(\widehat{{\theta }_1})⩽D(\widehat{{\theta }_2})$，则称$\widehat{{\theta }_1}$比$\widehat{{\theta }_2}$有效。

“有效性”准则的证明需要用到柯西不等式（详细证明过程不再介绍）。

柯西不等式：

${\sum }_{i=1}^n{a}_i^2{\sum }_{i=1}^n{b}_i^2⩾({\sum }_{i=1}^n{a}_i{b}_i{)}^2$

2.3.3.相合性

‼️之前讨论的无偏性和有效性都是基于样本容量有限的前提下。

在样本容量有限的前提下，无偏估计量一般不等于未知参数。如果我们希望无偏估计量随着样本容量的增加能够越来越逼近未知参数，这时就得考虑“相合性”（也称“一致性”）规则。

定义：

设$\hat{\theta }=\hat{\theta }(X_1,X_2,...,X_n)$是未知参数$\theta$的一个估计量，如果对于任意的正数$ϵ$，有${\lim }_{n\to \infty }P\{\mid \hat{\theta }-\theta \mid ⩾ϵ\}=0$，则称$\hat{\theta }$为$\theta$的相合估计量。

⚠️矩估计量都是相合估计量（这是由大数定律保证的）。

3.区间估计

区间估计是从点估计值和抽样标准误差出发，按给定的概率值建立包含待估计参数的区间。其中这个给定的概率值称为置信度或置信水平，这个建立起来的包含待估计参数的区间称为置信区间，指总体参数值落在样本统计值某一区内的概率。

置信区间定义：

设$X_1,X_2,...,X_n$是来自总体X的样本，X的分布$f(x,\theta )$中含有未知参数$\theta$，对给定的数$\alpha (0<\alpha <1)$，若有统计量$\widehat{{\theta }_1}=\widehat{{\theta }_1}(X_1,X_2,...,X_n)$和$\widehat{{\theta }_2}=\widehat{{\theta }_2}(X_1,X_2,...,X_n),(\widehat{{\theta }_1}<\widehat{{\theta }_2})$，使得$P(\widehat{{\theta }_1}<\theta <\widehat{{\theta }_2})⩾1-\alpha$。

则称随机区间$(\widehat{{\theta }_1},\widehat{{\theta }_2})$是$\theta$的置信度（置信水平）为$\alpha$的双侧置信区间，称$(\widehat{{\theta }_1}$和$\widehat{{\theta }_2})$是该双侧置信区间的置信下限和置信上限。

4.参考资料

1. 参数估计（百度百科）
2. 浅谈参数估计
3. 点估计（百度百科）
4. 概率笔记11——一维正态分布的最大似然估计
5. 区间估计（百度百科）

---

想要获取最新文章推送或者私聊谈人生，请关注我的个人微信公众号：⬇️x-jeff的AI工坊⬇️

个人博客网站：https://shichaoxin.com

GitHub：https://github.com/x-jeff

---