压缩感知解析

压缩感知解析

理论基础与数学框架

压缩感知理论由Emmanuel Candès、Terence Tao、David Donoho等数学家在2004年前后建立，该理论证明：对于在某种变换域中具有稀疏性的信号，可以通过远少于奈奎斯特采样率的随机测量实现完美重构。

压缩感知的数学框架

基本数学模型

压缩感知的核心数学模型为：
$$\mathbf{y}=\mathbf{\Phi }\mathbf{x}+\mathbf{n}$$

其中：

• $\mathbf{x}\in {\mathbb{R}}^N$ 是待重构的原始信号
• $\mathbf{\Phi }\in {\mathbb{R}}^{M\times N}$ 是测量矩阵，$M\ll N$
• $\mathbf{y}\in {\mathbb{R}}^M$ 是观测向量
• $\mathbf{n}\in {\mathbb{R}}^M$ 是噪声向量

稀疏性的数学定义

信号的稀疏性通过${\ell }_0$范数刻画：
$$\Vert \mathbf{x}{\Vert }_0=|\{i:x_i\ne 0\}|$$

对于k-稀疏信号，定义稀疏集合：
$${\Sigma }_k=\{\mathbf{x}\in {\mathbb{R}}^N:\Vert \mathbf{x}{\Vert }_0\le k\}$$

稀疏表示理论

当信号$\mathbf{x}$在正交基$\mathbf{\Psi }=[{\mathbf{\psi }}_1,{\mathbf{\psi }}_2,\dots ,{\mathbf{\psi }}_N]$下稀疏时：
$$\mathbf{x}=\mathbf{\Psi }\mathbf{\alpha }=\sum _{i=1}^N{\alpha }_i{\mathbf{\psi }}_i$$

其中$\mathbf{\alpha }$是稀疏系数向量，$\Vert \mathbf{\alpha }{\Vert }_0\le k$。

测量过程表示为：
$$\mathbf{y}=\mathbf{\Phi }\mathbf{\Psi }\mathbf{\alpha }=\mathbf{\Theta }\mathbf{\alpha }$$

这里$\mathbf{\Theta }=\mathbf{\Phi }\mathbf{\Psi }$是感知矩阵。

压缩感知的信息理论分析

Kolmogorov复杂度视角

设$K(\mathbf{x})$为信号$\mathbf{x}$的Kolmogorov复杂度，则k-稀疏信号的复杂度界限为：
$$K(\mathbf{x})\le k{\log }_2(N/k)+k{\log }_2(R)+O(\log k)$$

其中$R$是量化精度。这表明稀疏信号的信息量远小于其维度$N$。

信息论下界

定理7（Fano不等式在压缩感知中的应用）：对于任意重构算法$\hat{\mathbf{x}}(\mathbf{y})$，存在k-稀疏信号使得：
$$\mathbb{E}[\Vert \hat{\mathbf{x}}(\mathbf{y})-\mathbf{x}{\Vert }_2^2]\ge c\frac{k\log (N/k)}{M}$$

其中$c>0$是常数。

证明思路：

1. 构造$ϵ$-网络覆盖稀疏信号集合
2. 应用Fano不等式建立错误概率下界
3. 通过Le Cam方法得到均方误差下界

等价性定理与唯一性分析

定理1（稀疏恢复的唯一性）：设${\mathbf{x}}^{\ast },\mathbf{x}\in {\Sigma }_k$，若$\mathbf{\Phi }{\mathbf{x}}^{\ast }=\mathbf{\Phi }\mathbf{x}$，则当$\mathbf{\Phi }$满足限制等距性质且${\delta }_{2k}<1$时，有${\mathbf{x}}^{\ast }=\mathbf{x}$。

详细证明：设$\mathbf{h}={\mathbf{x}}^{\ast }-\mathbf{x}$，则$\mathbf{\Phi }\mathbf{h}=0$且$\Vert \mathbf{h}{\Vert }_0\le \Vert {\mathbf{x}}^{\ast }{\Vert }_0+\Vert \mathbf{x}{\Vert }_0\le 2k$。

设$\mathbf{h}={\mathbf{h}}_T+{\mathbf{h}}_{T^c}$，其中$T$为$\mathbf{h}$的最大$k$个元素的索引集。则：
$$\Vert {\mathbf{h}}_T{\Vert }_0\le k,\Vert {\mathbf{h}}_{T^c}{\Vert }_0\le k$$

由RIP条件：
$$(1-{\delta }_{2k})\Vert \mathbf{h}{\Vert }_2^2\le \Vert \mathbf{\Phi }\mathbf{h}{\Vert }_2^2=0$$

因${\delta }_{2k}<1$，故$(1-{\delta }_{2k})>0$，得$\Vert \mathbf{h}{\Vert }_2=0$，即$\mathbf{h}=0$，故${\mathbf{x}}^{\ast }=\mathbf{x}$。□

相干性理论与Welch界限

测量矩阵$\mathbf{\Phi }$与稀疏基$\mathbf{\Psi }$的相干性定义为：
$$\mu (\mathbf{\Phi },\mathbf{\Psi })=\sqrt{N}\underset{1\le i,j\le N}{\max }|⟨{\mathbf{\varphi }}_i,{\mathbf{\psi }}_j⟩|$$

Welch界限：对于任意单位向量系统$\{{\mathbf{\varphi }}_i{\}}_{i=1}^M$和$\{{\mathbf{\psi }}_j{\}}_{j=1}^N$：
$$\mu (\mathbf{\Phi },\mathbf{\Psi })\ge \sqrt{\frac{N-M}{M(N-1)}}$$

证明：考虑Gram矩阵$\mathbf{G}={\mathbf{\Phi }}^T\mathbf{\Psi }$，有：
$$\sum _{i,j}|G_{ij}{|}^2=\text{tr}({\mathbf{G}}^T\mathbf{G})=\text{tr}({\mathbf{\Psi }}^T\mathbf{\Phi }{\mathbf{\Phi }}^T\mathbf{\Psi })=M$$

由Cauchy-Schwarz不等式：
$$M^2\le MN\underset{i,j}{\max }|G_{ij}{|}^2$$

因此：
$$\underset{i,j}{\max }|G_{ij}|\ge \sqrt{\frac{M}{N}}=\frac{\sqrt{M}}{\sqrt{N}}$$

结合单位化条件得到Welch界限。□

当相干性较小时，稀疏恢复条件为：
$$k<\frac{1}{2}\left(1+\frac{1}{\mu (\mathbf{\Phi },\mathbf{\Psi })}\right)$$

扩展的相干性分析

平均相干性

定义平均相干性：
$$\bar{\mu }(\mathbf{\Phi },\mathbf{\Psi })=\frac{1}{MN}\sum _{i=1}^M\sum _{j=1}^N|⟨{\mathbf{\varphi }}_i,{\mathbf{\psi }}_j⟩{|}^2$$

定理8（平均相干性与RIP的关系）：若$\bar{\mu }(\mathbf{\Phi },\mathbf{\Psi })\le \frac{1}{k}$，则测量矩阵满足：
$${\delta }_k\le (k-1)\bar{\mu }(\mathbf{\Phi },\mathbf{\Psi })$$

累积相干性

对于索引集$T\subseteq [N]$，定义累积相干性：
$${\mu }_1(T)=\underset{j\notin T}{\max }\sum _{i\in T}|⟨{\mathbf{\varphi }}_i,{\mathbf{\varphi }}_j⟩|$$

定理9（ERC条件）：若${\mu }_1(T)<1$对所有$|T|\le k$成立，则所有k-稀疏信号可通过${\ell }_1$最小化精确恢复。

重构算法的数学理论

L₀最小化问题与复杂度分析

理想的稀疏重构问题为：
$$\underset{\mathbf{x}}{\min }\Vert \mathbf{x}{\Vert }_0\text{s.t.}\mathbf{y}=\mathbf{\Phi }\mathbf{x}$$

复杂度分析：该问题等价于从$\left(\genfrac{}{}{0ex}{}{N}{k}\right)$个可能的支撑集中选择正确的一个，计算复杂度为$O(N^k)$，属于NP-hard问题。

对于噪声情况，松弛为：
$$\underset{\mathbf{x}}{\min }\Vert \mathbf{x}{\Vert }_0\text{s.t.}\Vert \mathbf{y}-\mathbf{\Phi }\mathbf{x}{\Vert }_2\le ϵ$$

L₁凸松弛理论与对偶分析

基追踪算法将L₀问题松弛为L₁凸优化：
$$\underset{\mathbf{x}}{\min }\Vert \mathbf{x}{\Vert }_1\text{s.t.}\mathbf{y}=\mathbf{\Phi }\mathbf{x}$$

对于噪声情况（基追踪去噪）：
$$\underset{\mathbf{x}}{\min }\Vert \mathbf{x}{\Vert }_1\text{s.t.}\Vert \mathbf{y}-\mathbf{\Phi }\mathbf{x}{\Vert }_2\le ϵ$$

定理2（L₁等价性条件）：当测量矩阵$\mathbf{\Phi }$满足RIP条件${\delta }_{2k}<\sqrt{2}-1\approx 0.414$时，L₁最小化解与L₀最小化解等价。

详细证明：设${\mathbf{x}}^{\ast }$为真实k-稀疏信号，$\hat{\mathbf{x}}$为L₁最小化的解，$\mathbf{h}=\hat{\mathbf{x}}-{\mathbf{x}}^{\ast }$。

设$T$为${\mathbf{x}}^{\ast }$的支撑集，$T^c$为其补集。由于$\mathbf{\Phi }\mathbf{h}=0$，有：
$${\mathbf{\Phi }}_T{\mathbf{h}}_T+{\mathbf{\Phi }}_{T^c}{\mathbf{h}}_{T^c}=0$$

即：
$${\mathbf{\Phi }}_T{\mathbf{h}}_T=-{\mathbf{\Phi }}_{T^c}{\mathbf{h}}_{T^c}$$

由L₁最小化的最优性：
$$\Vert {\mathbf{x}}^{\ast }+\mathbf{h}{\Vert }_1\le \Vert {\mathbf{x}}^{\ast }{\Vert }_1$$

展开得：
$$\Vert {\mathbf{x}}_T^{\ast }+{\mathbf{h}}_T{\Vert }_1+\Vert {\mathbf{h}}_{T^c}{\Vert }_1\le \Vert {\mathbf{x}}_T^{\ast }{\Vert }_1$$

由三角不等式的逆：
$$\Vert {\mathbf{h}}_T{\Vert }_1\le \Vert {\mathbf{h}}_{T^c}{\Vert }_1$$

将$T^c$分解为$T_1,T_2,\dots$，每个$|T_i|\le k$，应用RIP得到矛盾。□

拉格朗日对偶理论与KKT条件

引入拉格朗日乘子$\lambda >0$，无约束形式为：
$$\underset{\mathbf{x}}{\min }f(\mathbf{x})=\frac{1}{2}\Vert \mathbf{y}-\mathbf{\Phi }\mathbf{x}{\Vert }_2^2+\lambda \Vert \mathbf{x}{\Vert }_1$$

次梯度分析

L₁范数的次梯度为：
$$\partial \Vert \mathbf{x}{\Vert }_1=\left\{\mathbf{z}\in {\mathbb{R}}^N:z_i=\{\begin{array}{ll}\text{sign}(x_i)& \text{if }{x}_i\ne 0\\ [-1,1]& \text{if }{x}_i=0\end{array}\right\}$$

最优性条件（KKT条件）：
$${\mathbf{\Phi }}^T(\mathbf{\Phi }{\mathbf{x}}^{\ast }-\mathbf{y})+\lambda {\mathbf{z}}^{\ast }=0$$

其中${\mathbf{z}}^{\ast }\in \partial \Vert {\mathbf{x}}^{\ast }{\Vert }_1$。

对偶问题构造

定义对偶函数：
$$g(\mathbf{\nu })=\underset{\mathbf{x}}{\inf }\left\{⟨\mathbf{\nu },\mathbf{y}-\mathbf{\Phi }\mathbf{x}⟩+\frac{1}{2}\Vert \mathbf{y}-\mathbf{\Phi }\mathbf{x}{\Vert }_2^2+\lambda \Vert \mathbf{x}{\Vert }_1\right\}$$

对$\mathbf{x}$求导并令其为零：
$$-{\mathbf{\Phi }}^T\mathbf{\nu }-{\mathbf{\Phi }}^T(\mathbf{y}-\mathbf{\Phi }\mathbf{x})+\lambda \mathbf{z}=0$$

得到对偶问题：
$$\underset{\mathbf{\nu }}{\max }\left\{-\frac{1}{2}\Vert \mathbf{\nu }{\Vert }_2^2+⟨\mathbf{\nu },\mathbf{y}⟩\right\}\text{s.t.}\Vert {\mathbf{\Phi }}^T\mathbf{\nu }{\Vert }_{\infty }\le \lambda$$

软阈值算子理论

定义软阈值算子${\mathcal{S}}_{\tau }:\mathbb{R}\to \mathbb{R}$：
$${\mathcal{S}}_{\tau }(x)=\{\begin{array}{ll}x-\tau & \text{if }x>\tau \\ 0& \text{if }|x|\le \tau \\ x+\tau & \text{if }x<-\tau \end{array}$$

向量形式：$[{\mathcal{S}}_{\tau }(\mathbf{x}){]}_i={\mathcal{S}}_{\tau }(x_i)$

软阈值算子的性质

性质1（收缩性）：$|{\mathcal{S}}_{\tau }(x)|\le |x|$

性质2（单调性）：若$x\ge y$，则${\mathcal{S}}_{\tau }(x)\ge {\mathcal{S}}_{\tau }(y)$

性质3（Lipschitz连续性）：$|{\mathcal{S}}_{\tau }(x)-{\mathcal{S}}_{\tau }(y)|\le |x-y|$

定理10（软阈值的近似算子性质）：
$${\mathcal{S}}_{\tau }(x)=\arg \underset{z}{\min }\frac{1}{2}(x-z{)}^2+\tau |z|$$

证明：设$f(z)=\frac{1}{2}(x-z{)}^2+\tau |z|$，考虑三种情况：

1. 当$x>\tau$时，在$z>0$区域，$f(z)=\frac{1}{2}(x-z{)}^2+\tau z$，导数$f^{\prime }(z)=-(x-z)+\tau =0$得$z=x-\tau$
2. 当$x<-\tau$时，在$z<0$区域，$f(z)=\frac{1}{2}(x-z{)}^2-\tau z$，导数$f^{\prime }(z)=-(x-z)-\tau =0$得$z=x+\tau$
3. 当$|x|\le \tau$时，$z=0$使$f(z)$最小

验证这些解确实对应软阈值算子。□

迭代收缩阈值算法（ISTA）理论

算法描述

算法1（ISTA）：
$${\mathbf{x}}^{(t+1)}={\mathcal{S}}_{\lambda /L}\left({\mathbf{x}}^{(t)}-\frac{1}{L}{\mathbf{\Phi }}^T(\mathbf{\Phi }{\mathbf{x}}^{(t)}-\mathbf{y})\right)$$

其中$L=\Vert {\mathbf{\Phi }}^T\mathbf{\Phi }{\Vert }_2$是Lipschitz常数。

收敛性分析

设目标函数为$F(\mathbf{x})=\frac{1}{2}\Vert \mathbf{y}-\mathbf{\Phi }\mathbf{x}{\Vert }_2^2+\lambda \Vert \mathbf{x}{\Vert }_1$

定理11（ISTA收敛率）：
$$F({\mathbf{x}}^{(t)})-F({\mathbf{x}}^{\ast })\le \frac{L\Vert {\mathbf{x}}^{(0)}-{\mathbf{x}}^{\ast }{\Vert }_2^2}{2t}$$

详细证明：

定义辅助函数：
$$Q_L(\mathbf{x},\mathbf{y})=F(\mathbf{y})+⟨\nabla f(\mathbf{y}),\mathbf{x}-\mathbf{y}⟩+\frac{L}{2}\Vert \mathbf{x}-\mathbf{y}{\Vert }_2^2+\lambda \Vert \mathbf{x}{\Vert }_1$$

其中$f(\mathbf{x})=\frac{1}{2}\Vert \mathbf{y}-\mathbf{\Phi }\mathbf{x}{\Vert }_2^2$，$\nabla f(\mathbf{x})={\mathbf{\Phi }}^T(\mathbf{\Phi }\mathbf{x}-\mathbf{y})$。

由于$f$的Lipschitz连续性：
$$F(\mathbf{x})\le Q_L(\mathbf{x},\mathbf{y})$$

ISTA更新规则等价于：
$${\mathbf{x}}^{(t+1)}=\arg \underset{\mathbf{x}}{\min }{Q}_L(\mathbf{x},{\mathbf{x}}^{(t)})$$

应用充分下降引理和凸性得到收敛率。□

快速迭代收缩阈值算法（FISTA）

算法描述

算法2（FISTA）：
$$\begin{array}{rl}{\mathbf{v}}^{(t)}& ={\mathbf{x}}^{(t-1)}+\frac{t-2}{t+1}({\mathbf{x}}^{(t-1)}-{\mathbf{x}}^{(t-2)})\\ {\mathbf{x}}^{(t)}& ={\mathcal{S}}_{\lambda /L}\left({\mathbf{v}}^{(t)}-\frac{1}{L}{\mathbf{\Phi }}^T(\mathbf{\Phi }{\mathbf{v}}^{(t)}-\mathbf{y})\right)\end{array}$$

加速机制分析

FISTA采用Nesterov加速机制，动量项为：
$$\frac{t-2}{t+1}=1-\frac{3}{t+1}$$

定理12（FISTA收敛率）：
$$F({\mathbf{x}}^{(t)})-F({\mathbf{x}}^{\ast })\le \frac{2L\Vert {\mathbf{x}}^{(0)}-{\mathbf{x}}^{\ast }{\Vert }_2^2}{(t+1{)}^2}$$

证明思路：

1. 定义势函数${\Phi }_t=t^2(F({\mathbf{x}}^{(t)})-F({\mathbf{x}}^{\ast }))$
2. 证明${\Phi }_{t+1}\le {\Phi }_t$
3. 应用数学归纳法得到$O(1/t^2)$收敛率

正交匹配追踪算法理论

算法描述

算法3（OMP）：

1. 初始化：${\mathbf{r}}^{(0)}=\mathbf{y}$，${\Lambda }^{(0)}=\varnothing$，$t=0$
2. 选择：$j^{(t)}=\arg {\max }_{j\notin {\Lambda }^{(t)}}|⟨{\mathbf{r}}^{(t)},{\mathbf{\varphi }}_j⟩|$
3. 更新支撑集：${\Lambda }^{(t+1)}={\Lambda }^{(t)}\cup \{j^{(t)}\}$
4. 最小二乘：${\mathbf{x}}_{{\Lambda }^{(t+1)}}^{(t+1)}=\arg {\min }_{\mathbf{z}}\Vert \mathbf{y}-{\mathbf{\Phi }}_{{\Lambda }^{(t+1)}}\mathbf{z}{\Vert }_2^2$
5. 更新残差：${\mathbf{r}}^{(t+1)}=\mathbf{y}-{\mathbf{\Phi }}_{{\Lambda }^{(t+1)}}{\mathbf{x}}_{{\Lambda }^{(t+1)}}^{(t+1)}$
6. 如果$\Vert {\mathbf{r}}^{(t+1)}{\Vert }_2\le ϵ$或$t\ge k$，停止；否则$t=t+1$，返回步骤2

理论分析

最小二乘解为：
$${\mathbf{x}}_{{\Lambda }^{(t+1)}}^{(t+1)}=({\mathbf{\Phi }}_{{\Lambda }^{(t+1)}}^T{\mathbf{\Phi }}_{{\Lambda }^{(t+1)}}{)}^{-1}{\mathbf{\Phi }}_{{\Lambda }^{(t+1)}}^T\mathbf{y}$$

残差更新：
$${\mathbf{r}}^{(t+1)}=\mathbf{y}-{\mathbf{\Phi }}_{{\Lambda }^{(t+1)}}({\mathbf{\Phi }}_{{\Lambda }^{(t+1)}}^T{\mathbf{\Phi }}_{{\Lambda }^{(t+1)}}{)}^{-1}{\mathbf{\Phi }}_{{\Lambda }^{(t+1)}}^T\mathbf{y}$$

定理13（OMP理论保证）：当测量矩阵满足RIP条件${\delta }_{k+1}<\frac{1}{\sqrt{k}+1}$时，OMP能在k步内精确恢复所有k-稀疏信号。

证明框架：

1. 证明每一步都选择正确的原子（支撑集的元素）
2. 证明残差以几何级数衰减
3. 证明算法在有限步内终止

迭代硬阈值算法理论

算法描述

算法4（IHT）：
$${\mathbf{x}}^{(t+1)}={\mathcal{H}}_k\left({\mathbf{x}}^{(t)}+\mu {\mathbf{\Phi }}^T(\mathbf{y}-\mathbf{\Phi }{\mathbf{x}}^{(t)})\right)$$

其中${\mathcal{H}}_k(\mathbf{x})$是硬阈值算子，保留$\mathbf{x}$中k个最大绝对值元素，其余置零。

硬阈值算子分析

硬阈值算子${\mathcal{H}}_k:{\mathbb{R}}^N\to {\mathbb{R}}^N$定义为：
$$[{\mathcal{H}}_k(\mathbf{x}){]}_i=\{\begin{array}{ll}{x}_i& \text{if }i\in T_k(\mathbf{x})\\ 0& \text{otherwise}\end{array}$$

其中$T_k(\mathbf{x})$是$\mathbf{x}$中k个最大绝对值元素的索引集。

性质1（投影性质）：${\mathcal{H}}_k(\mathbf{x})=\arg {\min }_{\mathbf{z}:\Vert \mathbf{z}{\Vert }_0\le k}\Vert \mathbf{x}-\mathbf{z}{\Vert }_2^2$

性质2（非扩张性）：对于任意k-稀疏信号$\mathbf{x}$，$\Vert {\mathcal{H}}_k(\mathbf{x}){\Vert }_2\le \Vert \mathbf{x}{\Vert }_2$

定理14（IHT收敛条件）：当$\mu \in (0,2/\Vert \mathbf{\Phi }{\Vert }_2^2)$且${\delta }_{3k}<\frac{1}{\sqrt{32}}$时，IHT线性收敛到真实稀疏解。

收敛性分析

设${\mathbf{x}}^{\ast }$为真实k-稀疏信号，定义误差${\mathbf{e}}^{(t)}={\mathbf{x}}^{(t)}-{\mathbf{x}}^{\ast }$。

引理1：在RIP条件${\delta }_{3k}<\frac{1}{\sqrt{32}}$下，存在常数$\rho \in (0,1)$使得：
$$\Vert {\mathbf{e}}^{(t+1)}{\Vert }_2\le \rho \Vert {\mathbf{e}}^{(t)}{\Vert }_2$$

证明步骤：

1. 分析${\mathbf{x}}^{(t)}+\mu {\mathbf{\Phi }}^T(\mathbf{y}-\mathbf{\Phi }{\mathbf{x}}^{(t)})$的误差结构
2. 应用硬阈值算子的投影性质
3. 利用RIP条件控制误差传播

测量矩阵理论与构造

限制等距性质（RIP）深入分析

RIP的几何解释

定义：矩阵$\mathbf{\Phi }\in {\mathbb{R}}^{M\times N}$满足阶数为k的限制等距性质，当且仅当存在最小常数${\delta }_k\in (0,1)$，使得对所有k-稀疏向量$\mathbf{x}$：
$$(1-{\delta }_k)\Vert \mathbf{x}{\Vert }_2^2\le \Vert \mathbf{\Phi }\mathbf{x}{\Vert }_2^2\le (1+{\delta }_k)\Vert \mathbf{x}{\Vert }_2^2$$

这等价于所有k-稀疏向量的Gram矩阵${\mathbf{G}}_T={\mathbf{\Phi }}_T^T{\mathbf{\Phi }}_T$的特征值都在$[1-{\delta }_k,1+{\delta }_k]$范围内。

RIP常数的精确计算

定理15（RIP常数的变分表示）：
$${\delta }_k=\underset{\begin{array}{c}\mathbf{x}\ne 0\\ \Vert \mathbf{x}{\Vert }_0\le k\end{array}}{\max }\frac{|\Vert \mathbf{\Phi }\mathbf{x}{\Vert }_2^2-\Vert \mathbf{x}{\Vert }_2^2|}{\Vert \mathbf{x}{\Vert }_2^2}$$

证明：直接由RIP定义，通过变分原理得到。□

推论1：RIP常数等价于：
$${\delta }_k=\underset{\begin{array}{c}|T|\le k\end{array}}{\max }\Vert {\mathbf{\Phi }}_T^T{\mathbf{\Phi }}_T-{\mathbf{I}}_T{\Vert }_2$$

其中${\mathbf{\Phi }}_T$表示$\mathbf{\Phi }$对应索引集$T$的子矩阵。

Johnson-Lindenstrauss引理的推广

引理2（稀疏Johnson-Lindenstrauss）：对于高斯随机矩阵$\mathbf{\Phi }\in {\mathbb{R}}^{M\times N}$，元素独立同分布于$\mathcal{N}(0,1/M)$，若：
$$M\ge C{\delta }^{-2}k\log (eN/k)$$

则以概率至少$1-2\exp (-c{\delta }^{2}M)$满足${\delta }_k(\mathbf{\Phi })\le \delta$，其中$C,c>0$是绝对常数。

详细证明：

1. 固定k-稀疏单位向量$\mathbf{x}$，$\Vert \mathbf{\Phi }\mathbf{x}{\Vert }_2^2={\sum }_{i=1}^M({\sum }_{j\in T}{\Phi }_{ij}{x}_j{)}^2$
2. 每个$({\sum }_{j\in T}{\Phi }_{ij}{x}_j{)}^2$是${\chi }^2$分布的缩放版本
3. 应用Chernoff界限：$\mathbb{P}(|\Vert \mathbf{\Phi }\mathbf{x}{\Vert }_2^2-1|>\delta )\le 2\exp (-c{\delta }^{2}M)$
4. 构造$ϵ$-网络覆盖k-稀疏单位球面，网络大小为$(3/ϵ{)}^{2k}$
5. 联合界：选择$ϵ=\delta /2$，应用union bound

随机矩阵的RIP性质深入分析

高斯随机矩阵

定理3（高斯矩阵的精确RIP界）：设$\mathbf{\Phi }\in {\mathbb{R}}^{M\times N}$的元素独立同分布于$\mathcal{N}(0,1/M)$，则对任意$\delta \in (0,1)$和：
$$k\le c\frac{{\delta }^{2}M}{\log (eN/k)}$$

有：
$$\mathbb{P}({\delta }_k(\mathbf{\Phi })\le \delta )\ge 1-2\exp (-c^{\prime }{\delta }^{2}M)$$

其中$c=1/(4\log 3)\approx 0.228$，$c^{\prime }=1/32$。

子高斯随机矩阵

定义（子高斯随机变量）：随机变量$X$称为参数为$\sigma$的子高斯随机变量，如果对所有$t\in \mathbb{R}$：
$$\mathbb{E}[\exp (tX)]\le \exp ({\sigma }^2{t}^2/2)$$

定理16（子高斯矩阵的RIP）：设$\mathbf{\Phi }$的元素独立同分布的子高斯随机变量，参数为${\sigma }^2/M$，则存在常数$c_1,c_2,c_3$，当：
$$M\ge c_1{\sigma }^2{\delta }^{-2}k\log (eN/k)$$

时，以概率至少$1-\exp (-c_2{\delta }^{2}M/{\sigma }^2)$满足${\delta }_k(\mathbf{\Phi })\le \delta$。

伯努利随机矩阵详细分析

定理4（伯努利矩阵的RIP）：设$\mathbf{\Phi }$的元素独立取值$\pm 1/\sqrt{M}$，概率各为1/2，则存在常数$c_1,c_2>0$，当：
$$M\ge c_1{\delta }^{-2}k\log (eN/k)$$

时，以概率至少$1-\exp (-c_2{\delta }^{2}M)$满足${\delta }_k(\mathbf{\Phi })\le \delta$。

证明要点：

1. 应用Hoeffding不等式控制二次型的集中性
2. 使用对称化技术简化分析
3. 构造合适的$ϵ$-网络并应用union bound

部分傅里叶矩阵与相干性分析

离散傅里叶变换矩阵

设$\mathbf{F}\in {\mathbb{C}}^{N\times N}$为归一化DFT矩阵：
$$F_{jk}=\frac{1}{\sqrt{N}}{e}^{-2\pi ijk/N},j,k=0,1,\dots ,N-1$$

部分随机傅里叶矩阵构造

定义部分随机傅里叶矩阵：
$$\mathbf{\Phi }=\sqrt{\frac{N}{M}}\mathbf{RF}$$

其中$\mathbf{R}\in \{0,1{\}}^{M\times N}$是随机选择矩阵，每行恰好有一个1。

定理5（部分傅里叶矩阵的RIP）：当信号在时域或小波域稀疏时，随机选择的部分傅里叶矩阵以高概率满足RIP，所需测量数为：
$$M\ge C{\mu }^2(\mathbf{\Psi }){\delta }^{-2}k{\log }^4(N)\log (k)$$

其中$\mu (\mathbf{\Psi })$是稀疏基$\mathbf{\Psi }$的最大相干性。

相干性的精确分析

对于标准基$\{{\mathbf{e}}_j\}$和傅里叶基$\{{\mathbf{f}}_k\}$：
$$\mu =\underset{j,k}{\max }|⟨{\mathbf{e}}_j,{\mathbf{f}}_k⟩|=\frac{1}{\sqrt{N}}$$

定理17（时域-频域相干性）：时域标准基与频域傅里叶基的相干性为：
$$\mu (\mathbf{I},\mathbf{F})=\frac{1}{\sqrt{N}}$$

这是所有正交基对的最小可能相干性。

小波基的相干性分析

对于Daubechies小波基${\mathbf{\Psi }}_{db}$：
$$\mu (\mathbf{F},{\mathbf{\Psi }}_{db})\le C\sqrt{\log N}$$

证明思路：

1. 分析小波函数的频域局部化性质
2. 利用小波的紧支撑性和正交性
3. 应用Plancherel定理建立时频关系

确定性测量矩阵构造

互不相关序列（Chirp序列）

利用二次相位函数构造确定性矩阵：
$${\Phi }_{i,j}=\frac{1}{\sqrt{M}}{e}^{2\pi i{a}_i{j}^2/p}$$

其中$p$是素数，$\{a_i\}$是模$p$的二次非剩余。

定理18（Chirp序列的相干性）：上述构造的测量矩阵满足：
$$\mu (\mathbf{\Phi })\le \sqrt{\frac{2\log p}{M}}$$

代数构造方法

基于有限域${\mathbb{F}}_q$上的代数结构：

构造1（Reed-Solomon型）：
$${\Phi }_{i,j}={\omega }^{\text{Tr}({\alpha }_i{\beta }_j^d)}$$

其中$\omega =e^{2\pi i/p}$，$\text{Tr}:{\mathbb{F}}_{q^m}\to {\mathbb{F}}_q$是迹函数。

定理19（代数构造的RIP界）：适当选择参数时，上述构造满足：
$${\delta }_k\le C\sqrt{\frac{k\log q}{M}}$$

BCH码构造

利用BCH码的生成矩阵构造测量矩阵：

设$g(x)={\prod }_{i=1}^{2t}(x-{\alpha }^i)$为BCH码的生成多项式，其中$\alpha$是${\mathbb{F}}_{2^m}$的本原元。

构造2（BCH测量矩阵）：
$${\Phi }_{i,j}=(-1{)}^{⟨{\mathbf{c}}_i,{\mathbf{x}}_j⟩}$$

其中${\mathbf{c}}_i$是BCH码字，${\mathbf{x}}_j$是信号向量。

Gram矩阵分析与特征值分布

Gram矩阵的构造

定义Gram矩阵$\mathbf{G}={\mathbf{\Phi }}^T\mathbf{\Phi }\in {\mathbb{R}}^{N\times N}$，其$(i,j)$元素为：
$$G_{ij}=⟨{\mathbf{\varphi }}_i,{\mathbf{\varphi }}_j⟩$$

特征值与RIP的关系

定理20（Gram矩阵特征值界）：
$${\delta }_k=\max \left\{\underset{\begin{array}{c}S\subseteq [N]\\ |S|\le k\end{array}}{\max }{\lambda }_{\max }({\mathbf{G}}_S)-1,1-\underset{\begin{array}{c}S\subseteq [N]\\ |S|\le k\end{array}}{\min }{\lambda }_{\min }({\mathbf{G}}_S)\right\}$$

其中${\mathbf{G}}_S$是$\mathbf{G}$对应索引集$S$的主子矩阵。

随机矩阵理论应用

Marchenko-Pastur定律的应用：对于$M\times N$随机矩阵$\mathbf{\Phi }$，当$M,N\to \infty$且$M/N\to \gamma \in (0,1)$时，Gram矩阵$\mathbf{G}={\mathbf{\Phi }}^T\mathbf{\Phi }$的经验谱分布趋向于Marchenko-Pastur分布：

$${\mu }_{MP}(dx)=\frac{1}{2\pi x}\sqrt{(b-x)(x-a)}{1}_{[a,b]}(x)dx+(1-{\gamma }^{-1}{)}^{+}{\delta }_0(dx)$$

其中$a=(1-\sqrt{\gamma }{)}^2$，$b=(1+\sqrt{\gamma }{)}^2$。

相干性理论的扩展

平均相干性深入分析

定义平均相干性：
$$\bar{\mu }(\mathbf{\Phi },\mathbf{\Psi })=\frac{1}{MN}\sum _{i=1}^M\sum _{j=1}^N|⟨{\mathbf{\varphi }}_i,{\mathbf{\psi }}_j⟩{|}^2=\frac{1}{MN}\Vert {\mathbf{\Phi }}^T\mathbf{\Psi }{\Vert }_F^2$$

定理8（平均相干性与RIP的关系）：若$\bar{\mu }(\mathbf{\Phi },\mathbf{\Psi })\le \frac{1}{k}$，则：
$${\delta }_k\le (k-1)\bar{\mu }(\mathbf{\Phi },\mathbf{\Psi })$$

详细证明：
设$\mathbf{x}$为k-稀疏信号，支撑集为$T$。则：
$$\Vert \mathbf{\Phi }\mathbf{x}{\Vert }_2^2={\mathbf{x}}^T{\mathbf{\Phi }}^T\mathbf{\Phi }\mathbf{x}=\sum _{i,j\in T}{x}_i{x}_j{G}_{ij}$$

其中$G_{ij}=⟨{\mathbf{\varphi }}_i,{\mathbf{\varphi }}_j⟩$。

分解为对角项和非对角项：
$$\Vert \mathbf{\Phi }\mathbf{x}{\Vert }_2^2=\sum _{i\in T}{x}_i^2+\sum _{\begin{array}{c}i,j\in T\\ i\ne j\end{array}}{x}_i{x}_j{G}_{ij}$$

应用Cauchy-Schwarz不等式控制非对角项，得到所需结果。□

累积相干性理论

定义（累积相干性）：对于索引集$T\subseteq [N]$：
$${\mu }_1(T)=\underset{j\notin T}{\max }\sum _{i\in T}|⟨{\mathbf{\varphi }}_i,{\mathbf{\varphi }}_j⟩|$$

定理9（精确恢复条件，ERC）：若对所有$|T|\le k$的索引集$T$都有${\mu }_1(T)<1$，则所有k-稀疏信号可通过${\ell }_1$最小化精确恢复。

证明框架：

1. 构造对偶证明向量$\mathbf{v}$满足${\mathbf{\Phi }}_T^T\mathbf{v}=\text{sign}({\mathbf{x}}_T)$
2. 验证$\Vert {\mathbf{\Phi }}_{T^c}^T\mathbf{v}{\Vert }_{\infty }<1$
3. 应用${\ell }_1$最小化的最优性条件

块相干性分析

对于块稀疏信号，定义块相干性：
$${\mu }_B=\underset{\begin{array}{c}i\ne j\\ 1\le i,j\le G\end{array}}{\max }\Vert {\mathbf{\Phi }}_i^T{\mathbf{\Phi }}_j{\Vert }_2$$

其中${\mathbf{\Phi }}_i$是第$i$个块对应的子矩阵。

定理21（块稀疏恢复条件）：若${\mu }_B<\frac{1}{2s-1}$，其中$s$是非零块的数量，则块稀疏信号可通过混合${\ell }_{2,1}$范数最小化恢复：
$$\underset{\mathbf{x}}{\min }\sum _{i=1}^G\Vert {\mathbf{x}}_i{\Vert }_2\text{s.t.}\mathbf{y}=\mathbf{\Phi }\mathbf{x}$$

最优测量矩阵设计理论

Grassmannian流形优化

测量矩阵的行向量构成Grassmannian流形$\mathcal{G}(M,N)$上的点。优化问题为：
$$\underset{\mathbf{\Phi }\in \mathcal{G}(M,N)}{\min }{\delta }_k(\mathbf{\Phi })$$

黎曼几何方法

在Grassmannian流形上定义黎曼度量：
$$⟨\mathbf{\Xi },\mathrm{H}{⟩}_{\mathbf{\Phi }}=\text{tr}({\mathbf{\Xi }}^T\mathrm{H})$$

其中$\mathbf{\Xi },\mathrm{H}$是切空间$T_{\mathbf{\Phi }}\mathcal{G}(M,N)$中的向量。

黎曼梯度：设$f(\mathbf{\Phi })={\delta }_k(\mathbf{\Phi })$，则黎曼梯度为：
$$\text{grad}f(\mathbf{\Phi })=\nabla f(\mathbf{\Phi })-\mathbf{\Phi }{\mathbf{\Phi }}^T\nabla f(\mathbf{\Phi })$$

半正定规划松弛

将RIP约束松弛为半正定规划：
$$\begin{array}{rl}\underset{\mathbf{G}}{\min }& \text{tr}(\mathbf{G})\\ \text{s.t.}& \mathbf{G}⪰0\\ & {\mathbf{G}}_{ii}=1,i=1,\dots ,N\\ & |{\mathbf{G}}_{ij}|\le \mu ,i\ne j\\ & \text{rank}(\mathbf{G})\le M\end{array}$$

定理22（SDP松弛界）：设${\mathbf{G}}^{\ast }$为上述SDP的最优解，则：
$${\delta }_k\ge \frac{\text{tr}({\mathbf{G}}^{\ast })-k}{k}$$

交替投影算法详细分析

算法5（测量矩阵优化）：

1. 初始化随机矩阵${\mathbf{\Phi }}^{(0)}$，满足$\Vert {\mathbf{\varphi }}_i{\Vert }_2=1$
2. 对$t=0,1,2,\dots$：
   • 计算RIP梯度：$\nabla {\delta }_k({\mathbf{\Phi }}^{(t)})$
   • 梯度下降：${\mathbf{\Phi }}^{(t+1)}={\mathbf{\Phi }}^{(t)}-{\alpha }_t\nabla {\delta }_k({\mathbf{\Phi }}^{(t)})$
   • 投影到单位球面：${\mathbf{\varphi }}_i^{(t+1)}=\frac{{\mathbf{\varphi }}_i^{(t+1)}}{\Vert {\mathbf{\varphi }}_i^{(t+1)}{\Vert }_2}$

收敛性分析：在适当的步长选择下，算法收敛到局部最优解。

噪声分析与鲁棒性理论

有界噪声模型

考虑有界噪声模型：$\mathbf{y}=\mathbf{\Phi }\mathbf{x}+\mathbf{n}$，其中$\Vert \mathbf{n}{\Vert }_2\le ϵ$。

定理23（有界噪声下的稳定恢复）：当${\delta }_{2k}<\sqrt{2}-1$时，基追踪去噪的解$\hat{\mathbf{x}}$满足：
$$\Vert \hat{\mathbf{x}}-\mathbf{x}{\Vert }_2\le C_1ϵ+C_2\frac{{\sigma }_k(\mathbf{x})}{\sqrt{k}}$$

其中${\sigma }_k(\mathbf{x})={\min }_{\mathbf{z}:\Vert \mathbf{z}{\Vert }_0\le k}\Vert \mathbf{x}-\mathbf{z}{\Vert }_1$是最佳k项逼近误差。

高斯噪声模型

考虑高斯噪声：$\mathbf{n}\sim \mathcal{N}(0,{\sigma }^2\mathbf{I})$。

定理24（高斯噪声下的性能界）：以高概率$1-\delta$，有：
$$\Vert \hat{\mathbf{x}}-\mathbf{x}{\Vert }_2\le C\sigma \sqrt{\frac{k\log (N/k)}{M}}$$

脉冲噪声模型

考虑稀疏脉冲噪声：$\mathbf{y}=\mathbf{\Phi }\mathbf{x}+\mathbf{s}$，其中$\mathbf{s}$是稀疏向量。

联合稀疏恢复问题：
$$\underset{\mathbf{x},\mathbf{s}}{\min }\Vert \mathbf{x}{\Vert }_1+\lambda \Vert \mathbf{s}{\Vert }_1\text{s.t.}\mathbf{y}=\mathbf{\Phi }\mathbf{x}+\mathbf{s}$$

定理25（脉冲噪声下的恢复条件）：当${\delta }_{k+s}<\frac{1}{3}$时，上述优化问题能同时恢复信号$\mathbf{x}$和噪声$\mathbf{s}$。

压缩感知的扩展理论

矩阵压缩感知

低秩矩阵恢复

考虑矩阵观测模型：$\mathcal{Y}=\mathcal{A}(\mathbf{X})+\mathcal{N}$，其中$\mathcal{A}:{\mathbb{R}}^{n_1\times n_2}\to {\mathbb{R}}^m$是线性观测算子。

核范数最小化：
$$\underset{\mathbf{X}}{\min }\Vert \mathbf{X}{\Vert }_{\ast }\text{s.t.}\Vert \mathcal{Y}-\mathcal{A}(\mathbf{X}){\Vert }_F\le ϵ$$

其中$\Vert \mathbf{X}{\Vert }_{\ast }={\sum }_i{\sigma }_i(\mathbf{X})$是核范数。

定理26（矩阵RIP）：当观测算子$\mathcal{A}$满足矩阵限制等距性质：
$$(1-{\delta }_r)\Vert \mathbf{X}{\Vert }_F^2\le \Vert \mathcal{A}(\mathbf{X}){\Vert }_2^2\le (1+{\delta }_r)\Vert \mathbf{X}{\Vert }_F^2$$

对所有秩不超过$r$的矩阵$\mathbf{X}$成立，且${\delta }_{5r}<1/10$时，核范数最小化能精确恢复秩为$r$的矩阵。

矩阵补全问题

特殊情况：$\mathcal{A}(\mathbf{X})={\mathcal{P}}_{\Omega }(\mathbf{X})$，其中${\mathcal{P}}_{\Omega }$是到观测集$\Omega$的投影算子。

定理27（矩阵补全的采样复杂度）：对于$n\times n$的秩$r$矩阵，当观测数满足：
$$|\Omega |\ge Cr\mu n{\log }^{2}n$$

时，其中$\mu$是相干性参数，核范数最小化能以高概率精确恢复原矩阵。

张量压缩感知

多线性代数基础

三阶张量$\mathcal{X}\in {\mathbb{R}}^{n_1\times n_2\times n_3}$的模态展开：

• 模态-1展开：${\mathbf{X}}_{(1)}\in {\mathbb{R}}^{n_1\times n_2{n}_3}$
• 模态-2展开：${\mathbf{X}}_{(2)}\in {\mathbb{R}}^{n_2\times n_1{n}_3}$
• 模态-3展开：${\mathbf{X}}_{(3)}\in {\mathbb{R}}^{n_3\times n_1{n}_2}$

张量核范数

定义张量核范数：
$$\Vert \mathcal{X}{\Vert }_{TNN}=\sum _{i=1}^3{\alpha }_i\Vert {\mathbf{X}}_{(i)}{\Vert }_{\ast }$$

其中${\alpha }_i\ge 0$是权重参数。

张量恢复问题：
$$\underset{\mathcal{X}}{\min }\Vert \mathcal{X}{\Vert }_{TNN}\text{s.t.}\Vert \mathcal{Y}-\mathcal{A}(\mathcal{X}){\Vert }_F\le ϵ$$