参数估计：从样本窥见总体

引言

参数估计是统计推断的’望远镜’——通过有限的样本数据，我们能够推断出无限总体的未知特征。本章将系统介绍点估计和区间估计两大方法论，建立从样本到总体的科学推断桥梁。

7 参数估计

7.1 参数估计的基本概念

7.1.1 估计问题类型

估计类型	目标	输出形式	示例
点估计	给出参数的单个最佳猜测	具体数值 $\hat{\theta }$	$\hat{\mu }=25.3$cm
区间估计	给出参数的可信范围	区间 $(\underline{\theta },\overline{\theta })$	$\mu \in (24.8,25.8)$cm

7.1.2 估计量评价标准

估计量评价

无偏性

有效性

一致性

充分性

• 无偏性：$E(\hat{\theta })=\theta$
  （如样本方差$S^2$是${\sigma }^2$的无偏估计）
• 有效性：方差越小越有效
  （比较${\hat{\theta }}_1$与${\hat{\theta }}_2$的$D(\cdot )$）
• 一致性：样本量增大时收敛于真值
  （${\lim }_{n\to \infty }P(|{\hat{\theta }}_n-\theta |<\epsilon )=1$）

---

7.2 点估计方法

7.2.1 矩估计法（MME）

核心思想：矩估计法的核心思想是：用样本矩$A_l$（如样本均值、样本方差等）代替总体矩${\mu }_l$（如总体期望、总体方差等），通过建立方程组求解参数估计。其理论依据是大数定律：当样本量足够大时，样本矩依概率收敛于总体矩。

求解步骤：

1. 建立方程：样本k阶矩 = 总体k阶矩
   $$\frac{1}{n}\sum X_i^k=E(X^k)$$
   • 一个参数${\mu }_1=E(X)$
   • 两个参数${\mu }_2=E(X^2)=D(X)+[E(X){]}^2$
2. 解方程组得参数估计
   • 样本矩$A_l=\frac{1}{n}\sum X_i^l$

示例：指数分布$Exp(\lambda )$的矩估计

• $E(X)=1/\lambda$ → $\bar{X}=1/\hat{\lambda }$ → $\hat{\lambda }=1/\bar{X}$

7.2.2 最大似然估计（MLE）

核心思想：选择使样本出现概率最大的参数值

求解步骤：

1. 写似然函数 $L(\theta )=\prod f(x_i;\theta )$。这是所有样本点概率密度函数或概率质量函数的乘积（对于独立同分布样本）
2. 取对数 $\ell (\theta )=\ln L(\theta )$
3. 求导 $\frac{\partial \ell }{\partial \theta }=0$
4. 解方程得$\hat{\theta }$

注意：取对数是为了使连乘变为连加，方便计算取极值

示例：正态分布$N(\mu ,{\sigma }^2)$的MLE

• $\hat{\mu }=\bar{X}$
• ${\hat{\sigma }}^2=\frac{1}{n}\sum (X_i-\bar{X}{)}^2$ （有偏估计量）

重要性质：MLE具有渐进正态性：
$$\sqrt{n}({\hat{\theta }}_{MLE}-\theta )\stackrel{d}{}N(0,\frac{1}{I(\theta )})$$
其中$I(\theta )$为Fisher信息量

---

7.3 区间估计原理

7.3.1 置信区间定义

设参数$\theta$，对给定$\alpha$，有：
$$P(\underline{\theta }<\theta <\overline{\theta })=1-\alpha$$
则$(\underline{\theta },\overline{\theta })$称为$100(1-\alpha )\%$置信区间

7.3.2 枢轴量法（关键步骤）

1. 构造包含参数$\theta$和样本$T_1$,$T_2$……$T_n$的枢轴量$G(T,\theta )$
   （其分布已知且与$\theta$无关）
2. 确定$a,b$使得 $P(a<G<b)=1-\alpha$
3. 解不等式得置信区间

---

7.4 单正态总体参数区间估计

7.4.1 均值$\mu$的置信区间

条件	枢轴量	$100(1-\alpha )\%$置信区间
$\sigma$已知	$\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)$	$\bar{x}\pm z_{\alpha /2}\frac{\sigma }{\sqrt{n}}$
$\sigma$未知	$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)$	$\bar{x}\pm t_{\alpha /2}(n-1)\frac{s}{\sqrt{n}}$

7.4.2 方差${\sigma }^2$的置信区间

条件	枢轴量	$100(1-\alpha )\%$置信区间
$\mu$未知	$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$	$\left(\frac{(n-1)s^2}{{\chi }_{\alpha /2}^2(n-1)},\frac{(n-1)s^2}{{\chi }_{1-\alpha /2}^2(n-1)}\right)$

---

7.5 双正态总体参数区间估计

7.5.1 均值差${\mu }_1-{\mu }_2$的区间估计

条件	枢轴量	$100(1-\alpha )\%$置信区间
${\sigma }_1,{\sigma }_2$已知	$\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{\sqrt{{\sigma }_1^2/m+{\sigma }_2^2/n}}\sim N(0,1)$	$(\bar{x}-\bar{y})\pm z_{\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}$
${\sigma }_1={\sigma }_2$未知	$\frac{(\bar{X}-\bar{Y})-({\mu }_1-{\mu }_2)}{S_p\sqrt{1/m+1/n}}\sim t(m+n-2)$	$(\bar{x}-\bar{y})\pm t_{\alpha /2}(m+n-2)s_p\sqrt{\frac{1}{m}+\frac{1}{n}}$ 其中$s_p^2=\frac{(m-1)s_1^2+(n-1)s_2^2}{m+n-2}$

7.5.2 方差比${\sigma }_1^2/{\sigma }_2^2$的区间估计

条件	枢轴量	$100(1-\alpha )\%$置信区间
${\mu }_1,{\mu }_2$未知	$\frac{S_1^2/S_2^2}{{\sigma }_1^2/{\sigma }_2^2}\sim F(m-1,n-1)$	$\left(\frac{s_1^2/s_2^2}{F_{\alpha /2}(m-1,n-1)},\frac{s_1^2/s_2^2}{F_{1-\alpha /2}(m-1,n-1)}\right)$

---

7.6 单侧置信区间

条件	参数类型	单侧置信区间公式	示例场景
$\sigma$已知	均值$\mu$下限	$\bar{x}-z_{\alpha }\cdot \frac{\sigma }{\sqrt{n}}$	职工家庭月收入的最低下限
$\sigma$未知	均值$\mu$下限	$\bar{x}-t_{\alpha }(n-1)\cdot \frac{s}{\sqrt{n}}$	化学药品杂质含量的上限
$\mu$未知	方差${\sigma }^2$上限	$\frac{(n-1)s^2}{{\chi }_{1-\alpha }^2(n-1)}$	电子产品寿命的最小置信下限

注意：下限$\alpha$，上限$1-\alpha$

---

7.7 置信区间公式

给定置信水平 $1-\alpha$，置信区间为：
$$(p_1,p_2)$$
其中：
$$p_1=\frac{1}{2a}\left(-b-\sqrt{b^2-4ac}\right),p_2=\frac{1}{2a}\left(-b+\sqrt{b^2-4ac}\right)$$

---

参数定义

$$a=n+z_{\alpha /2}^2$$
$$b=-2n\overline{X}-z_{\alpha /2}^2$$
$$c=n\overline{X}$$

---

符号说明

• $n$：样本容量
• $\overline{X}$：样本均值（大写 $X$ 上加横线）
• $z_{\alpha /2}$：标准正态分布的上 $\alpha /2$ 分位数

---

估计方法对比

方法	优点	局限	适用场景
矩估计	计算简单，无需分布假设	可能不唯一，效率低	初步估计，复杂分布
MLE	渐进最优，可拓展性好	可能无解析解	精确推断，大样本
区间估计	提供不确定性量化	计算复杂	可靠性要求高的决策