压缩感知

一. 压缩感知理论简介

1.传统采样和压缩感知

1.1 传统采样理论

传统采样理论基于Nyquist采样定理的不足之处

采样速率必须达到信号带宽的两倍以上才能精确重构信号。信息量↑ → 带宽↑ → 硬件成本↑
为了降低存储、处理和传输的成本 ,采用压缩方式以较少的比特数表示信号 ,大量的非重要的数据被抛弃。高速采样再压缩的过程浪费了大量的采样资源。

问题：能否以远低于奈奎斯特采样定理要求的采样速率获取信号 ,同时又可以完全恢复信号 ? 即能否将对信号的采样转变成对信息的采样 ?

1.2 压缩感知理论

压缩感知(Compressed sensing)理论与Nyquist采样定理不同，它指出：

只要信号是可压缩的或在某个变换域是稀疏的 ,那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上 ,然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号 ,可以证明这样的投影包含了重构信号的足够信息。

图 3 压缩感知理论框架

其中，待测信号是的列向量，在变换基下表示为：

在域下是稀疏的，其中系数，系数向量。

M次观测下，观测数据是的列向量，与不相关的测量矩阵：。对系数向量进行线性变换，得到观测集合。那么就可以利用优化求解方法从观测集合中精确地重构原始信号。

对于方程

传统采样下，为完整恢复待测信号，测量次数至少为,

若（方程个数小于未知量个数）, 方程为欠定方程，无法从的个测量值中解出信号。

若待测信号为稀疏信号时，利用有效恢复算法仍可重建原始信号。

即利用范数意义下的优化问题求解的精确或近似逼近:

求得信号在基上的最稀疏表示。带入式（1）求得。（非凸问题）

式（2）需列出中所有非零项位置的中可能的线性组合，才能得到最优解，是NP难问题，不可解。

但Chen,Dono、Saunders指出，求解一个更加简单的优化问题会产生同等的解（不相关），即约束也能使得稀疏信号中较小的成分为零，达到稀疏的目的，(2)式等价为：

即就是

满足在测量矩阵，使得情况下，最小化严格稀疏信号。（凸问题）

2.压缩感知理论主要研究内容

2.1 信号的稀疏表示

稀疏性的定义：

一个实值有限长的维离散信号，可用一组标准正交基的线性组合来表示，那么有

其中构成的维列向量，若在基上仅有个非零系数时，称为信号的稀疏基，称是稀疏的。是严格稀疏的。

如何寻找信号的最佳稀疏域，是压缩感知理论的基础和前提。也是信号精确重构的保证。

（1）基函数字典下的稀疏表示：

寻找一个正交基使得信号表示的稀疏系数尽可能的少。常用的稀疏变换有，离散傅里叶变换、小波变换、余弦变换等。

（2）冗余字典

冗余函数库来取代基函数，称为冗余字典。从冗余字典中找到具有最佳线性组合的项元素来逼近一个信号，称为信号的稀疏逼近或高度线性逼近。

如何构造合适的冗余字典。

已知冗余字典的前提下，如何使用快速有效方法来稀疏表示信号。

2.2 测量矩阵

测量矩阵满足RIP条件：

其中，,对于任意K-稀疏向量成立。

2.3 信号重构

重构算法四类：

贪婪追踪算法：每次迭代时选择一个局部最优解来逼近原始信号
凸松弛法：将非凸问题转化为凸问题求解找到信号逼近。BP(基追踪)，内点法，梯度投影算法（实验室用），迭代阈值法
组合算法：信号的采样支持通过分组测试快速重建，傅里叶采样,链式追踪和HHS追踪。
深度学习方法

二. GPSR论文

Gradient Projection for Sparse Reconstruction:Application to Compressed Sensing and Other Inverse Problems

1.梯度投影法解决无约束凸问题：

对于式(3)

为稀疏信号时，式（3）的解是,或者是在某些情况下，（5）式的解。

关联成像中，为像素为原始物体信号，为采样次数得到的通探测器信号，中每一行为光场数据的行向量化。

2.步骤

将（5）式转化为QP(quadratic program)问题。

令

（中元素对应中正数位置，值不变，其他位置为0，中元素对应负数位置，值取反，其他位置为0）

定义为：

即可将（5）式写为带边界约束的二次规划问题bound-constrained quadratic program (BCQP)

（6）式写为标准形式(BCQP）
$\min_z\quad \pmb{c^Tz}+\frac{1}{2} \pmb{z^TBz}\equiv{F(z)}\quad\quad\quad\quad{s.t.\quad\quad\pmb{z}\ge0}\quad\quad(7)\\ \pmb{z=\begin{bmatrix}u\\v\end{bmatrix},b=A^Ty,c=} \tau\pmb{1}_{2n}+\pmb{\begin{bmatrix}-b\\b\end{bmatrix}，B=\pmb{\begin{bmatrix} A^TA\quad-A^TA\\-A^TA\quad\quad{A^TA} \end{bmatrix}}}$
文中求解（7）式核心：

首先找到一标量参数序列：

然后选择第二个标量参数序列：

和的不同产生两种不同的求解算法：
- A. Basic Gradient Projection: The GPSR-Basic Algorithm
  
  每次迭代中沿着负梯度的方向进行搜索，并投影到非负向投影（沿着自变量增。），并执行回溯线搜索Backtracking line search直到函数值获得足够的减少。（BLS算法的思想是，在搜索方向上，先设置一个初始步长，如果步长太大，则缩减步长，直到合适为止。）
  - 初始化沿着负梯度方向能使最小化的步长

根据投影定理有：

非负向投影，则 (正向搜索)，梯度下降方向和搜索方向同号，则。

防止过大或过小，选择。（apparently novel）

算法流程

迭代核心代码

for i=1:迭代次数
    while 停止条件
           初始化
           计算导数
        while 1
        % calculate step for this lambda and candidate point，step2的set操作
            du = max(u-lambda*gradu,0.0) - u; 
            u_new = u + du;
            dv = max(v-lambda*gradv,0.0) - v; 
            v_new = v + dv;
            dx = du-dv; 
            x_new = x + dx;

            % evaluate function at the candidate point
            resid_base = A(x_new);
            resid = y - resid_base;
            f_new = 0.5*(resid(:)'*resid(:)) + sum(tau(:).*u_new(:)) + sum(tau(:).*v_new(:));    
            % test sufficient decrease condition
            if f_new <= f + mu * (gradu'*du + gradv'*dv)%step2的判决操作
               %disp('OK')  
            break    %跳出本层while,while keep_going处仍保持运行
            end
        lambda = lambda * lambda_backtrack;        %lambda_backtrack=0.5(前面定义）,放缩为原来的一半
        fprintf(1,'reducing lambda to %6.2e\n', lambda);
      end
      记录结果
      计算停止条件
      ...
    end
end

停止条件

获得充分的高质量的逼近解使困难的，给出能获得较准确的解且避免过度计算

设定
- 目标函数的变化率小于时，停止
- 时，停止
- 中的非零成分数量变化率小于时，停止
- 目标函数对于求导结果的范数变化率小于时，停止
B. Barzilai–Borwein Gradient Projection: The GPSR-BB Algorithm

....................................................................................................................

....................................................................................................................

....................................................................................................................

三. 参考

[1] 石光明，刘丹华，高大化. 压缩感知理论及其研究进展 [A]

[2] R Baraniuk. A lecture on compressive sensing [J]

[3] S S Chen ,D L Donoho ,and M A Saunders.Atomic decompo2sition by basis pursuit [J]

[4] 闫静文，刘蕾，屈小波. 压缩感知及其应用 [M]

梯度下降法

梯度投影的几何意义

可行方向&梯度投影法

向量/矩阵范数及其约束全

Compressive Sensing vs Deep Learning

压缩感知和深度学习的讨论

低维模型与深度模型的殊途同归

深度学习压缩感知

范数

向量范数

范数：

常用向量范数：

0-范数：，向量中非零元素的个数

1-范数：，即向量元素绝对值之和

2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方

-范数：，即所有向量元素绝对值中的最大值

--范数：，即所有向量元素绝对值中的最小值

矩阵范数

F-范数：

即矩阵元素绝对值的平方和再开平方

常用矩阵范数：

L0-范数：，矩阵中非零元素的个数

1-范数：，列和范数，即所有矩阵列向量绝对值之和的最大值

2-范数：，为的最大特征值，谱范数，即矩阵的最大特征值的开平方

-范数：，行和范数，即所有矩阵行向量绝对值之和的最大值