近端梯度法（Proximal Gradient Descent）

总目录

一、 凸优化基础（Convex Optimization basics）

1. 凸优化基础（Convex Optimization basics）

二、 一阶梯度方法（First-order methods）

1. 梯度下降（Gradient Descent）
2. 次梯度（Subgradients）
3. 近端梯度法（Proximal Gradient Descent）
4. 随机梯度下降（Stochastic gradient descent）
   待更新。。。

近端梯度法（Proximal Gradient Descent）

在凸优化问题中，对于可微分的目标函数，我们可以通过梯度下降法（gradient descent）迭代求解最优解，而对于不可微分的目标函数，通过引入次梯度（subgradient）也可以迭代求解最优解，然而比起梯度下降法，次梯度法的速度比较缓慢。为此，针对于一些整体不可微分但却可以分解的目标函数来说，我们可以使用一种更快的算法——近端梯度法。

1. 可分解的目标函数

考虑一个目标函数可以分解为如下形式的两个函数：
$$f(x)=g(x)+h(x)\text{\hspace{1em}(1)}$$

其中，$g(x)$是凸函数且是可微分的，$h(x)$也是凸函数但可能不可微分。使用近端梯度下降，可以实现$O(1/ϵ)$的收敛率（$ϵ=f(x^{(k)})-f(x^{\ast })$，即当前迭代结果与最优解之间的偏差）。通过对近端梯度法加速，可以达到$O(1/\sqrt{ϵ})$收敛速率。

2. 梯度下降法回顾

对于一个可微分的凸函数$f(z)$，假设起始点在$x$，则可以做二阶泰勒展开：
$$f(z)\approx f(x)+\nabla f(x{)}^T(z-x)+\frac{1}{2}{\nabla }^{2}f(x)\Vert z-x{\Vert }_2^2\text{\hspace{1em}(2)}$$

通过替换${\nabla }^{2}f(x)=\frac{1}{t}I$，可以得到
$$f(z)\approx f(x)+\nabla f(x{)}^T(z-x)+\frac{1}{2t}\Vert z-x{\Vert }_2^2\text{\hspace{1em}(3)}$$

最小化上述二次近似
$$x^{+}=\arg \underset{z}{\min }f(x)+\nabla f(x{)}^T(z-x)+\frac{1}{2t}\Vert z-x{\Vert }_2^2\text{\hspace{1em}(4)}$$

可以得到下一个点的位置
$$z=x^{+}=x-t\nabla f(x)\text{\hspace{1em}(5)}$$

这就是我们常见的梯度下降的迭代更新策略。

3. 近端投影

如果$f$不可微，但可以分解为上述的两个函数$g$和$h$，则我们仍然可以使用平滑部分$g$的二次近似来定义向最小值走的一步：
$$\begin{array}{rl}{x}^{+}& =\arg \underset{a}{\min }g(z)+h(z)\\ & =\arg \underset{z}{\min }g(x)+\nabla g(x{)}^T(z-x)+\frac{1}{2t}\Vert z-x{\Vert }_2^2+h(z)\end{array}\text{\hspace{1em}(6)}$$

式（6）可以写成：
$$x^{+}=\arg \underset{z}{\min }\frac{1}{2t}\Vert z-(x-t\nabla g(x)){\Vert }_2^2+h(z):=pro{x}_{h,t}(x-t\nabla g(x))\text{\hspace{1em}(7)}$$

其中，近端函数$prox$定义为
$$pro{x}_{h,t}(x)=\arg \underset{z}{\min }\frac{1}{2t}\Vert z-x{\Vert }_2^2+h(z)\text{\hspace{1em}(8)}$$

4. 近端梯度下降

使用近端函数，我们可以定义一个迭代过程，叫做迭代梯度下降。其过程如下：
首先，选择一个初始点$x^{(0)}$，然后重复：
$$x^{(i)}=pro{x}_{h,t_i}(x^{(i-1)}-t_i\nabla g(x^{(i-1)})),i=1,2,3,...\text{\hspace{1em}(9)}$$

使用该方法有几个优点：

1. 对于许多$h$函数，其近端投影$pro{x}_{h,t}$有解析解；
2. $pro{x}_t$仅仅依赖于$h$，因此可以被用于不同的$g$函数；
3. $g$可以使任意复杂的函数，只要我们能计算其梯度；

4.1 例子：迭代软阈值算法（ISTA）

考虑下面lasso问题：
$$\underset{\beta \in {\mathcal{R}}^p}{\min }\frac{1}{2}\Vert y-X\beta {\Vert }_2^2+\lambda \Vert \beta {\Vert }_1\text{\hspace{1em}(10)}$$

令$g(\beta )=\frac{1}{2}\Vert y-X\beta {\Vert }_2^2$，$h(\beta )=\Vert \beta {\Vert }_1$。对于目标函数的近端映射可以用软阈值法来计算：
$$pro{x}_{h,t}(\beta )=\arg \underset{z}{\min }\frac{1}{2t}\Vert \beta -z{\Vert }_2^2+\lambda \Vert z{\Vert }_1=S_{\lambda t}(\beta )\text{\hspace{1em}(11)}$$

其中，$S_{\lambda t}(\beta )$有解析解，相当于软阈值算子：
$$[S_{\lambda t}{]}_i=\{\begin{array}{rlr}{\beta }_i-\lambda t,& & {\beta }_i>\lambda t\\ 0,& & -\lambda t\le {\beta }_i\le \lambda t\\ {\beta }_i+\lambda t,& & {\beta }_i<-\lambda t\end{array}\text{\hspace{1em}(12)}$$

而$g(\beta )$的梯度为$X^T(X\beta -y)$，因此，我们可以得到近端梯度下降更新策略：
$${\beta }^{+}=S_{\lambda t}(\beta -t{X}^T(X\beta -y))\text{\hspace{1em}(13)}$$

5. 特殊情况

近端梯度下降相当于梯度下降法的一种推广，因此也被称为复合梯度下降（composite gradient descent）或者广义梯度下降（generalized gradient descent）。下面几个特殊的情况可以看出为什么称之为广义梯度下降。

5.1 梯度下降

当$h(x)=0$时，近端映射函数变为：
$$pro{x}_t(x)=\arg \underset{z}{\min }\frac{1}{2t}\Vert x-z{\Vert }_2^2=x\text{\hspace{1em}(14)}$$

因此，更新策略变为
$$x^{(k)}=x^{(k-1)}-t_k\nabla g(x^{(k-1)}),k=1,2,3,...\text{\hspace{1em}(15)}$$

即正常的梯度下降法。

5.2 投影梯度下降

当$h(x)=I_c$，$I_c$为集合$C$的指示函数时，近端映射函数变为：
$$\begin{array}{rl}pro{x}_t(x)& =\arg \underset{z}{\min }\frac{1}{2t}\Vert x-z{\Vert }_2^2+I_c\\ & =\arg \underset{z\in C}{\min }\frac{1}{2t}\Vert x-z{\Vert }_2^2\\ & =P_C(x)\end{array}\text{\hspace{1em}(16)}$$

其中，$P_C(x)$表示集合$C$上的投影算子。
因此，更新策略变为
$$x^{(k)}=P_c(x^{(k-1)}-t_k\nabla g(x^{(k-1)})),k=1,2,3,...\text{\hspace{1em}(17)}$$

即为投影梯度下降法。其先使用正常的梯度更新策略，然后将得到的$x$投影回集合$C$中。

5.3 近端最小化算法

当$g(x)=0$时，更新策略变为：
$$x^{(k)}=\arg \underset{z}{\min }\frac{1}{2t}\Vert x^{(k-1)}-z{\Vert }_2^2+h(z),k=1,2,3,...\text{\hspace{1em}(18)}$$

其叫做近端最小化算法（proximal minimization algorithm）。其比次梯度方法快，但仅仅适用于近端算子是闭合形式的情况。

6. 加速的近端梯度法

加速的近端梯度法选择1初始点$x^{(0)}=x^{(-1)}\in {\mathcal{R}}^n$，然后重复下面的步骤：

1. 将之前的迭代结果作为动量，计算$v$：
   $$v=x^{(k-1)}+\frac{k-2}{k+1}(x^{(k-1)}-x^{(k-2)})\text{\hspace{1em}(19)}$$

2. 使用$v$更新$x$：
   $$x^{(k)}=pro{x}_{t_k}(v-t_k\nabla g(x^{(k-1)}))\text{\hspace{1em}(20)}$$

第一步$k=1$是常规的近端梯度更新。之后，我们使用$v$代替$x^{(k-1)}$从之前的迭代中搬运一些动量，使得下一步的梯度更新方向与当前的梯度方向不要相差太大。通过对近端梯度法加速，可以达到$O(1/\sqrt{ϵ})$收敛速率。

6.1 例子：快速迭代软阈值法（FISTA）

对于式（10）的lasso问题，FISTA的更新策略为：
对于$k=1,2,3,...$，
$$v={\beta }^{(k-1)}+\frac{k-2}{k+1}({\beta }^{(k-1)}-{\beta }^{(k-2)})\text{\hspace{1em}(21)}$$

$${\beta }^{(k)}=S_{\lambda t_k}(v-t_k{X}^T(X{\beta }^{(k-1)}-y))\text{\hspace{1em}(22)}$$

参考资料

CMU：Convex Optimization