最小距离估计器解读

最小距离估计器解读

引言

在统计学和计量经济学中，估计未知参数是一项核心任务。最小距离估计（Minimum Distance Estimation，MDE）是一类强大的参数估计方法，它通过最小化观测数据与理论模型之间的某种"距离"来估计模型参数。

基本概念

最小距离估计的核心思想非常直观：我们寻找使得理论分布与实际观测数据之间"距离"最小的参数值。这里的"距离"是一个广义概念，可以是各种统计距离度量。假设我们在概率空间 $(\Omega ,\mathcal{F},P)$ 上观测随机变量 $X$，其分布函数为 $F_X$。我们有一个参数化模型族 $\{F_{\theta }:\theta \in \Theta \}$，其中 $\Theta \subset {\mathbb{R}}^p$ 是参数空间。我们的目标是找到参数 ${\theta }_0\in \Theta$，使得 $F_{{\theta }_0}$ 最接近真实分布 $F_X$。

形式上，对于任意距离函数 $D:\mathcal{F}\times \mathcal{F}\to {\mathbb{R}}_{+}$，我们寻找：

$${\theta }_0=\arg \underset{\theta \in \Theta }{\min }D(F_X,F_{\theta })$$

实际应用中，真实分布 $F_X$ 是未知的，我们只能通过样本 $\{X_1,X_2,...,X_n\}$ 获得的经验分布 $F_n$ 来近似它。

数学表述

假设我们有独立同分布的随机变量 $X_1,X_2,...,X_n$，其真实分布为 $F_0$。我们希望用参数为 $\theta$ 的模型分布 $F_{\theta }$ 来拟合数据，其中 $\theta \in \Theta$（参数空间）。经验分布函数定义为：

$$F_n(x)=\frac{1}{n}\sum _{i=1}^{n}I(X_i\le x)$$

其中 $I(\cdot )$ 是指示函数。

最小距离估计器 ${\hat{\theta }}_{MD}$ 定义为：

$${\hat{\theta }}_{MD}=\arg \underset{\theta \in \Theta }{\min }D(F_n,F_{\theta })$$

这里 $D(\cdot ,\cdot )$ 是一个距离或散度函数，衡量两个分布之间的差异。更一般地，我们可以考虑对经验和理论分布应用某种变换 $T$，然后计算变换后的距离：

$${\hat{\theta }}_{MD}=\arg \underset{\theta \in \Theta }{\min }D(T(F_n),T(F_{\theta }))$$

其中 $T$ 可以是各种函数变换，如特征函数、矩生成函数或累积生成函数等。在某些情况下，我们也可以使用加权最小距离估计：

$${\hat{\theta }}_{WMD}=\arg \underset{\theta \in \Theta }{\min }{\int }_{\mathcal{X}}[F_n(x)-F_{\theta }(x){]}^{2}w(x)dx$$

其中 $w(x)$ 是一个非负权重函数。

常见的距离度量

科尔莫哥洛夫距离（Kolmogorov Distance）

科尔莫哥洛夫距离是两个累积分布函数之间的最大绝对差：

$$D_K(F_n,F_{\theta })=\underset{x}{\sup }|F_n(x)-F_{\theta }(x)|$$

这一距离对应于著名的Kolmogorov-Smirnov检验。在多元情况下，多维Kolmogorov距离可以定义为：

$$D_{K,d}(F_n,F_{\theta })=\underset{x\in {\mathbb{R}}^d}{\sup }|F_n(x)-F_{\theta }(x)|$$

然而，在实际应用中，多维Kolmogorov距离计算复杂且不具有旋转不变性。

克拉默-冯·米塞斯距离（Cramér-von Mises Distance）

克拉默-冯·米塞斯距离基于两个分布函数的平方差的积分：

$$D_{CvM}(F_n,F_{\theta })={\int }_{-\infty }^{\infty }[F_n(x)-F_{\theta }(x){]}^{2}d{F}_{\theta }(x)$$

实际计算中，常用如下形式：

$$D_{CvM}(F_n,F_{\theta })=\frac{1}{n}\sum _{i=1}^n{\left[F_{\theta }(X_{(i)})-\frac{2i-1}{2n}\right]}^2+\frac{1}{12n^2}$$

其中 $X_{(i)}$ 是排序后的数据。

在多元情况下，我们可以使用嵌射深度（projection depth）方法将多维克拉默-冯·米塞斯距离定义为：

$$D_{CvM,d}(F_n,F_{\theta })={\int }_{\Vert u\Vert =1}{\int }_{-\infty }^{\infty }[F_{n,u}(t)-F_{\theta ,u}(t){]}^{2}d{F}_{\theta ,u}(t)d\mu (u)$$

其中 $F_{n,u}$ 和 $F_{\theta ,u}$ 分别是经验分布和模型分布在方向 $u$ 上的投影，$\mu$ 是单位球面上的均匀分布。

安德森-达林距离（Anderson-Darling Distance）

安德森-达林距离给予分布尾部更大的权重：

$$D_{AD}(F_n,F_{\theta })=n{\int }_{-\infty }^{\infty }\frac{[F_n(x)-F_{\theta }(x){]}^2}{F_{\theta }(x)(1-F_{\theta }(x))}d{F}_{\theta }(x)$$

在计算实践中，可以使用如下公式：

$$D_{AD}(F_n,F_{\theta })=-n-\frac{1}{n}\sum _{i=1}^n(2i-1)[\log F_{\theta }(X_{(i)})+\log (1-F_{\theta }(X_{(n+1-i)}))]$$

安德森-达林距离的理论基础可以从信息几何的角度理解。如果将分布空间视为黎曼流形，安德森-达林距离可以视为费舍尔信息度量（Fisher Information Metric）的一种近似：

$$D_{AD}(F_n,F_{\theta })\approx \int \frac{[f_n(x)-f_{\theta }(x){]}^2}{f_{\theta }(x)}dx$$

其中 $f_n$ 和 $f_{\theta }$ 分别是经验分布和模型分布的密度函数。

赫林格距离（Hellinger Distance）

赫林格距离基于概率密度函数而非分布函数：

$$D_H(f_n,f_{\theta })=\frac{1}{2}{\int }_{-\infty }^{\infty }{\left(\sqrt{f_n(x)}-\sqrt{f_{\theta }(x)}\right)}^{2}dx$$

其中 $f_n$ 和 $f_{\theta }$ 分别是经验分布和模型分布的密度函数。赫林格距离与总变差距离（Total Variation Distance）和 Kullback-Leibler 散度（KL散度）有密切关系：

$$\frac{1}{2}{D}_{TV}^2(f_n,f_{\theta })\le D_H(f_n,f_{\theta })\le \sqrt{\frac{1}{2}{D}_{KL}(f_n||f_{\theta })}$$

其中总变差距离定义为：

$$D_{TV}(f_n,f_{\theta })=\frac{1}{2}{\int }_{-\infty }^{\infty }|f_n(x)-f_{\theta }(x)|dx$$

而KL散度定义为：

$$D_{KL}(f_n||f_{\theta })={\int }_{-\infty }^{\infty }{f}_n(x)\log \frac{f_n(x)}{f_{\theta }(x)}dx$$

赫林格距离在量子信息理论中有重要应用，对于两个量子态 $\rho$ 和 $\sigma$，量子赫林格距离定义为：

$$D_H(\rho ,\sigma )=\sqrt{1-\text{Tr}(\sqrt{\rho }\sqrt{\sigma })}$$

能量距离（Energy Distance）

能量距离是近年来发展起来的一种度量，它基于统计物理学中粒子间相互作用能的类比：

$$D_E(F_n,F_{\theta })=2\mathbb{E}||X-Y|{|}_2-\mathbb{E}||X-X^{\prime }|{|}_2-\mathbb{E}||Y-Y^{\prime }|{|}_2$$

其中 $X,X^{\prime }$ 是独立同分布的随机变量，服从经验分布 $F_n$；$Y,Y^{\prime }$ 是独立同分布的随机变量，服从模型分布 $F_{\theta }$；$||\cdot |{|}_2$ 是欧几里得范数。在核方法的框架下，能量距离与最大平均差异（Maximum Mean Discrepancy, MMD）有密切关系，当使用特定核函数时，MMD可表示为：

$${\text{MMD}}^2(F_n,F_{\theta })={\mathbb{E}}_{X,X^{\prime }}[k(X,X^{\prime })]+{\mathbb{E}}_{Y,Y^{\prime }}[k(Y,Y^{\prime })]-2{\mathbb{E}}_{X,Y}[k(X,Y)]$$

其中 $k(\cdot ,\cdot )$ 是正定核函数。当 $k(x,y)=-||x-y|{|}_2$ 时，MMD与能量距离等价。

广义矩距离（Generalized Method of Moments）

广义矩距离是最小距离估计的一种特殊形式，特别适用于经济计量学模型。它基于矩条件 $E[g(X,{\theta }_0)]=0$，其中 $g$ 是一个向量值函数，${\theta }_0$ 是真实参数值。

样本矩定义为：

$${\bar{g}}_n(\theta )=\frac{1}{n}\sum _{i=1}^{n}g(X_i,\theta )$$

GMM估计器定义为：

$${\hat{\theta }}_{GMM}=\arg \underset{\theta \in \Theta }{\min }{\bar{g}}_n(\theta {)}^{\prime }{W}_n{\bar{g}}_n(\theta )$$

其中 $W_n$ 是一个权重矩阵。最优权重矩阵是 $W_n=S_n^{-1}$，其中 $S_n$ 是 ${\bar{g}}_n({\theta }_0)$ 的协方差矩阵的一致估计。GMM的理论基础可以通过泰勒展开式推导。假设 ${\bar{g}}_n({\hat{\theta }}_{GMM})=0$（矩条件恰好满足），则：

$$\sqrt{n}({\hat{\theta }}_{GMM}-{\theta }_0)=-{\left(\frac{\partial {\bar{g}}_n({\theta }_0)}{\partial {\theta }^{\prime }}\right)}^{-1}\sqrt{n}{\bar{g}}_n({\theta }_0)+o_p(1)$$

渐近协方差矩阵为：

$$V_{GMM}={\left(G_0^{\prime }{S}_0^{-1}{G}_0\right)}^{-1}$$

其中 $G_0=E[\partial g(X,{\theta }_0)/\partial {\theta }^{\prime }]$ 是雅可比矩阵，$S_0=E[g(X,{\theta }_0)g(X,{\theta }_0{)}^{\prime }]$ 是矩函数的协方差矩阵。

在过度识别的情况下（矩条件数量大于参数数量），可以使用 Hansen’s J 统计量进行模型规范检验：

$$J_n=n{\bar{g}}_n({\hat{\theta }}_{GMM}{)}^{\prime }{W}_n{\bar{g}}_n({\hat{\theta }}_{GMM})\stackrel{d}{}{\chi }_{r-p}^2$$

其中 $r$ 是矩条件数量，$p$ 是参数数量。

近年来，GMM的一个重要扩展是连续更新GMM（Continuously Updated GMM, CUE）：

$${\hat{\theta }}_{CUE}=\arg \underset{\theta \in \Theta }{\min }{\bar{g}}_n(\theta {)}^{\prime }{S}_n(\theta {)}^{-1}{\bar{g}}_n(\theta )$$

其中 $S_n(\theta )$ 是 ${\bar{g}}_n(\theta )$ 的协方差矩阵的函数。CUE估计器在有限样本性质上通常优于标准GMM估计器。

最小距离估计器的性质

一致性

在适当的正则条件下，最小距离估计器是一致的，即随着样本量增加，估计值将收敛于真实参数值：

$${\hat{\theta }}_{MD}\stackrel{p}{}{\theta }_0\text{当}n\to \infty$$

一致性的证明通常基于下列条件：

1. 识别条件：$D(F_0,F_{\theta })=0$ 当且仅当 $\theta ={\theta }_0$
2. 距离函数的连续性：$D(F,G)$ 关于 $F$ 和 $G$ 是连续的
3. 参数空间 $\Theta$ 是紧的
4. 经验分布 $F_n$ 一致收敛于真实分布 $F_0$

在这些条件下，可以证明：

$$\underset{\theta \in \Theta }{\sup }|D(F_n,F_{\theta })-D(F_0,F_{\theta })|\stackrel{p}{}0$$

结合识别条件，可得 ${\hat{\theta }}_{MD}\stackrel{p}{}{\theta }_0$。

渐近正态性

在一定条件下，最小距离估计器是渐近正态的：

$$\sqrt{n}({\hat{\theta }}_{MD}-{\theta }_0)\stackrel{d}{}N(0,V)$$

其中 $V$ 是渐近协方差矩阵，其形式取决于所使用的距离度量和模型特性。

对于基于加权经验过程的最小距离估计，渐近协方差矩阵可表示为：

$$V=(G^{\prime }WG{)}^{-1}{G}^{\prime }WSWG(G^{\prime }WG{)}^{-1}$$

其中 $G=\partial E[m(X,{\theta }_0)]/\partial {\theta }^{\prime }$ 是矩函数对参数的导数，$S=E[m(X,{\theta }_0)m(X,{\theta }_0{)}^{\prime }]$ 是矩函数的协方差矩阵，$W$ 是权重矩阵。

当 $W=S^{-1}$ 时，渐近协方差矩阵简化为：

$$V=(G^{\prime }{S}^{-1}G{)}^{-1}$$

这对应于最有效的估计器。

鲁棒性

与最大似然估计相比，某些最小距离估计器（如基于赫林格距离的）对异常值和模型错误规定有更强的鲁棒性。鲁棒性可以通过影响函数（Influence Function）来量化。对于分布 $F$ 和点质量污染 ${\delta }_x$，参数函数 $T$ 在点 $x$ 处的影响函数定义为：

$$IF(x;T,F)=\underset{ϵ\to 0}{\lim }\frac{T((1-ϵ)F+ϵ{\delta }_x)-T(F)}{ϵ}$$

对于最小距离估计器，影响函数的界限决定了其对异常值的敏感度。例如，基于Hellinger距离的最小距离估计器具有有界的影响函数，表明其对异常值具有良好的鲁棒性。在M-估计理论框架下，最小距离估计器的崩溃点（Breakdown Point）—即能够容忍的最大异常值比例—也是衡量鲁棒性的重要指标。

与其他估计方法的比较

最大似然估计（MLE）

最大似然估计基于最大化似然函数，需要完全指定概率模型。当模型正确指定时，MLE通常是渐近有效的。相比之下，最小距离估计通常不要求完全指定模型，因此在模型不确定的情况下可能更有优势。最大似然估计的目标函数：

$${\hat{\theta }}_{MLE}=\arg \underset{\theta \in \Theta }{\max }\prod _{i=1}^n{f}_{\theta }(X_i)$$

或等价地：

$${\hat{\theta }}_{MLE}=\arg \underset{\theta \in \Theta }{\max }\sum _{i=1}^n\log f_{\theta }(X_i)$$

MLE和MD估计器的关系可以通过Kullback-Leibler散度来建立。当距离函数选择为KL散度时：

$$D_{KL}(f_n||f_{\theta })=\int f_n(x)\log \frac{f_n(x)}{f_{\theta }(x)}dx$$

由于经验分布 $f_n$ 的熵是常数，最小化 $D_{KL}(f_n||f_{\theta })$ 等价于最大化：

$$\int f_n(x)\log f_{\theta }(x)dx\approx \frac{1}{n}\sum _{i=1}^n\log f_{\theta }(X_i)$$

这正是最大似然估计的目标函数。因此，MLE可以视为基于KL散度的最小距离估计的特例。两者的理论比较可通过渐近相对效率（Asymptotic Relative Efficiency, ARE）进行：

$$ARE({\hat{\theta }}_{MD},{\hat{\theta }}_{MLE})=\frac{V_{MLE}}{V_{MD}}$$

其中 $V_{MLE}$ 和 $V_{MD}$ 分别是MLE和MD估计器的渐近协方差矩阵。

在正则条件下，MLE达到Cramér-Rao下界，是渐近有效的。然而，当模型错误指定时，MLE可能产生严重偏差，而某些MD估计器可能更为稳健。

贝叶斯估计

贝叶斯方法将参数视为随机变量，并通过后验分布进行推断。最小距离估计可以与贝叶斯框架结合，例如通过使用近似贝叶斯计算（ABC）方法。在贝叶斯框架下，后验分布为：

$$p(\theta |X)\propto p(X|\theta )p(\theta )$$

其中 $p(X|\theta )$ 是似然函数，$p(\theta )$ 是先验分布。

贝叶斯最小距离估计可以通过最小化后验期望距离来定义：

$${\hat{\theta }}_{BMD}=\arg \underset{\theta \in \Theta }{\min }\int D(F_n,F_{{\theta }^{\prime }})p({\theta }^{\prime }|X)d{\theta }^{\prime }$$

或者通过构造基于距离的似然函数：

$$p_D(X|\theta )\propto \exp (-nD(F_n,F_{\theta }))$$

这导致的后验分布为：

$$p_D(\theta |X)\propto \exp (-nD(F_n,F_{\theta }))p(\theta )$$

在大样本情况下，当 $n\to \infty$ 时，这个后验分布会集中在最小距离估计 ${\hat{\theta }}_{MD}$ 附近，与频率派方法产生一致的结果。