LMMSE、MMSE和LS

linear minimum mean square error (LMMSE)和minimum mean square error的区别

1. LMMSE（线性最小均方误差）

估计是观测数据的线性组合： $\hat{\mathbf{x}}=\mathbf{W}\mathbf{y}$
目标就是最小化MSE：${\min }_{\mathbf{W}}\mathbb{E}\left[\Vert \mathbf{x}-\hat{\mathbf{x}}{\Vert }^2\right]$
缺点： 仅在观测和噪声为高斯分布时是最优的.
举例：$y=hx+n$ $\stackrel{\mathrm{LMMSE}}{}$ $\hat{x}=\frac{h}{h^2+{\sigma }^2}y$

1. MMSE（最小均方误差）

LMMSE是MMSE的特例，i.e., 观测与真值满足联合高斯条件，二者等价。
估计是给定观测对真值的条件期望：$\hat{\mathbf{x}}=\mathbb{E}[\mathbf{x}|\mathbf{y}]$
目标函数还是MSE
缺点是求解复杂，非高斯下难有闭式解
注意：MMSE是贝叶斯估计，给定观测数据求期望，不像最大似然 ${\hat{\mathbf{x}}}_{\text{ML}}=\arg {\max }_{\mathbf{x}}p(\mathbf{y}|\mathbf{x})$，仅利用部分样本最大化似然概率（比如，抛了10次硬币8次正面，${\hat{\mathbf{x}}}_{\text{ML}}=4/5$）
举例1：$y=hx+n$ → n ∼ N ( 0 , σ n 2 ) x ∼ N ( μ x , σ x 2 ) \xrightarrow[n \sim \mathcal{N}(0, \sigma_n^2)]{x \sim \mathcal{N}(\mu_x, \sigma_x^2)}