机器人中的数值优化（十八）—— 锥增广的拉格朗日、半光滑的牛顿方法

   本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考，主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等，本系列文章篇数较多，不定期更新，上半部分介绍无约束优化，下半部分介绍带约束的优化，中间会穿插一些路径规划方面的应用实例

---

---

  

   二十九、锥增广的拉格朗日

   我们想要保持问题的凸性，然后找一个g（x）<=0与x属于锥等价，且该增广项g(x)应该是凸的，并且至少是可微的。

   我们回顾一下一般的等式约束的情况，

   $$\begin{array}{rl}& \underset{x\in {\mathbb{R}}^n}{\min }f(x)\\ & s.t.h(x)=0\end{array}$$

   其增广拉格朗日形式如下（灰色部分可省略）：

   L ρ ( x , λ ) : = f ( x ) + ρ 2 ∥ h ( x ) + λ ρ ∥ 2 − 1 2 ρ ∥ λ ∥ 2 \mathcal{L}_\rho(x,\lambda):=f(x)+\frac\rho2\left\|h(x)+\frac\lambda\rho\right\|^2\color{grey}-\frac1{2\rho}\|\lambda\|^2 Lρ​(x,λ):=f(x)+2ρ​ ​h(x)+ρλ​ ​2−2ρ1​∥λ∥2
   如何将其推广到锥中呢？

   $$\begin{array}{rl}& \underset{x\in {\mathbb{R}}^n}{\min }{c}^{\mathrm{T}}x\\ & \text{s.t.}{A}_{i}x+b_i\in {\mathcal{K}}_i,i=1,\dots ,m\\ & Gx=h\end{array}$$

   还记得前面，我们使用平方项来将不等式约束转化为等式约束，如下式所示：

   $$g(x)\le 0⟺g(x)+[s{]}^2=0$$
   幸运的是，对称锥可以表示成平方项的形式，所以可以借助以上思想来推广到锥中。

   $$\begin{array}{rl}& \underset{x\in {\mathbb{R}}^n}{\min }{c}^{\mathrm{T}}x\\ & \text{s.t.}{A}_{i}x+b_i\in {\mathcal{K}}_i,i=1,\dots ,m\\ & Gx=h\end{array}$$

   上式可等价表示成如下的形式：

   $$\begin{array}{rl}& \underset{x,s}{\min }{c}^{\mathrm{T}}x\\ & \text{s.t.}{A}_{i}x+b_i=s_i\circ s_i,i=1,\dots ,m\\ & Gx=h\end{array}$$
   该对称锥对应的拉格朗日函数如下：

   L ρ ( x , s , λ , ν ) : = c T x + ρ 2 ∥ G x − h + λ ρ ∥ 2 + ρ 2 ∑ i = 1 m ∥ A i x + b i − s i ∘ s i + ν i ρ ∥ 2 \mathcal{L}_\rho(x,s,\lambda,\nu):=c^\mathrm{T}x+\frac\rho2\left\|Gx-h+\frac\lambda\rho\right\|^2+\frac\rho2\sum_{i=1}^m\left\|A_ix+b_i-s_i\circ s_i+\frac{\nu_i}\rho\right\|^2 Lρ​(x,s,λ,ν):=cTx+2ρ​ ​Gx−h+ρλ​ ​2+2ρ​i=1∑m​ ​Ai​x+bi​−si​∘si​+ρνi​​ ​2

   该问题包含以下子问题：

   min ⁡ s L ρ ( x , s , λ , ν ) = c T x + ρ 2 ∥ G x − h + λ ρ ∥ 2 + ρ 2 ∑ i = 1 m min ⁡ s i ∥ A i x + b i − s i ∘ s i + ν i ρ ∥ 2 \min_s\mathcal{L}_\rho(x,s,\lambda,\nu)=c^\mathrm{T}x+\frac\rho2\left\|Gx-h+\frac\lambda\rho\right\|^2+\frac\rho2\sum_{i=1}^m\boxed{\min_{s_i}\|A_ix+b_i-s_i\circ s_i+\frac{\nu_i}\rho\|^2} smin​Lρ​(x,s,λ,ν)=cTx+2ρ​ ​Gx−h+ρλ​ ​2+2ρ​i=1∑m​si​min​∥Ai​x+bi​−si​∘si​+ρνi​​∥2​

   其中，下式可进行转换

   $$\underset{s}{\min }{\Vert v-s_i\circ s_i\Vert }^2=\underset{x\in \mathcal{K}}{\min }{\Vert v-x\Vert }^2$$

   转换后的形式如下：

   $$P_{\mathcal{K}}(v):=\arg \underset{x\in \mathcal{K}}{\min }{\Vert v-x\Vert }^2$$
   上式可通过谱分解的方法进行计算：

   $$P_{\mathcal{K}}(v=\sum _{i=1}^{\theta }{\lambda }_i{q}_i)=\sum _{i=1}^{\theta }\max [{\lambda }_i,0]q_i$$

   下式中分别给出了positive orthant和second-order cone的谱分解计算公式

   $$P_{\mathcal{K}={\mathbb{R}}_{\ge 0}^n}(v)=\max [v,0]$$

   $$P_{\mathcal{K}={\mathcal{Q}}^n}(v)=\{\begin{array}{rlr}& 0,& v_0\le -\Vert v_1{\Vert }_2\\ & \frac{v_0+\Vert v_1{\Vert }_2}{2\Vert v_1{\Vert }_2}(\Vert v_1{\Vert }_2,v_1{)}^{\mathrm{T}},& |v_0|<\Vert v_1{\Vert }_2\\ & v,& v_0\ge \Vert v_1{\Vert }_2\end{array}$$

   我们可以得到下式：

   $$\underset{s}{\min }{\Vert v-s_i\circ s_i\Vert }^2={\Vert P_{\mathcal{K}}(-v)\Vert }^2$$

   进一步可以得到对称锥的增广拉格朗日函数如下（灰色部分可以省略）

   L ρ ( x , λ , μ ) : = c T x + ρ 2 { ∥ G x − h + λ ρ ∥ 2 + ∑ i = 1 m ∥ P χ i ( μ i ρ − A i x − b i ) ∥ 2 } − 1 2 ρ { ∥ λ ∥ 2 + ∥ μ ∥ 2 } \mathcal{L}_\rho(x,\lambda,\mu):=c^\mathrm{T}x+\frac\rho2\left\{\left\|Gx-h+\frac\lambda\rho\right\|^2+\sum_{i=1}^m\left\|P\chi_i\left(\frac{\mu_i}\rho-A_ix-b_i\right)\right\|^2\right\}\color{grey}-\frac1{2\rho}\left\{\left\|\lambda\right\|^2+\left\|\mu\right\|^2\right\} Lρ​(x,λ,μ):=cTx+2ρ​{ ​Gx−h+ρλ​ ​2+i=1∑m​ ​Pχi​(ρμi​​−Ai​x−bi​) ​2}−2ρ1​{∥λ∥2+∥μ∥2}

   其对偶变量的更新如下

   $${\mu }_i\leftarrow P_{{\mathcal{K}}_i}({\mu }_i-\rho (A_{i}x+b_i))$$

   扩充项的几何理解如下所示：

---

• →→→→→←♪←→←←→→→☆→→←←→→→←←☆→→→→←↑←→←←♬→→→→→♦→←←♩→→←←◑←←←←→←←→♥→←←→←→←←★→→→→→→→→→→◐←←→→→↙→→→←↓←→→→◀→→→←←→→→→◆→→←←→→→→→★←→→→←→←←→→→→→←☆→→←←→→→→→♫↔→→→→←←←←↕←←←♬←←←↖←←◑←←→←←→▶→→→→←←←←→←★←→→→

---

   现在，我们来总结一下，对于任意一个对称锥${\mathcal{K}}_i$，其对应的增广拉格朗日形式如下（灰色部分可省略）：

   L ρ ( x , λ , μ ) : = c T x + ρ 2 { ∥ G x − h + λ ρ ∥ 2 + ∑ i = 1 m ∥ P χ i ( μ i ρ − A i x − b i ) ∥ 2 } − 1 2 ρ { ∥ λ ∥ 2 + ∥ μ ∥ 2 } \mathcal{L}_\rho(x,\lambda,\mu):=c^\mathrm{T}x+\frac\rho2\left\{\left\|Gx-h+\frac\lambda\rho\right\|^2+\sum_{i=1}^m\left\|P\chi_i\left(\frac{\mu_i}\rho-A_ix-b_i\right)\right\|^2\right\}\color{grey}-\frac1{2\rho}\left\{\left\|\lambda\right\|^2+\left\|\mu\right\|^2\right\} Lρ​(x,λ,μ):=cTx+2ρ​{ ​Gx−h+ρλ​ ​2+i=1∑m​ ​Pχi​(ρμi​​−Ai​x−bi​) ​2}−2ρ1​{∥λ∥2+∥μ∥2}

   求解流程如下：

   $$\{\begin{array}{ll}x\leftarrow {\mathrm{argmin}}_x{\mathcal{L}}_{\rho }(x,\lambda ,\mu )& \\ \lambda \leftarrow \lambda +\rho (Gx-h)& \\ {\mu }_i\leftarrow P_{{\mathcal{K}}_i}({\mu }_i-\rho (A_{i}x+b_i))& \\ \rho \leftarrow \min [(1+\gamma )\rho ,\beta ]& \end{array}$$

   其中：

   $${\rho }_{\mathrm{ini}}=1,{\lambda }_{\mathrm{ini}}={\mu }_{\mathrm{ini}}=0,\gamma =1,\beta =10^3$$

   首先，我们还是更新外层的优化变量x，再利用内层的等式约束更新$\lambda$、$\mu$，最后更新惩罚项$\rho$

   停止条件，我们同样可以采用如下的表达式：

   max ⁡ [ ∥ G x − h ∥ ∞ , max ⁡ i ∥ μ ρ − P K i ( μ ρ − A i x − b i ) ∥ ∞ ] < ϵ c o n s , ∥ ∇ x L ρ ( x , λ , μ ) ∥ ∞ < ϵ p r e c \max\left[\|Gx-h\|_\infty,\max_i\left\|\frac\mu\rho-P_{\mathcal{K}_i}\left(\frac\mu\rho-A_ix-b_i\right)\right\|_\infty\right]<\epsilon_{\mathrm{cons}},\left\|\nabla_x\mathcal{L}_\rho(x,\lambda,\mu)\right\|_\infty<\epsilon_{\mathrm{prec}} max[∥Gx−h∥∞​,imax​ ​ρμ​−PKi​​(ρμ​−Ai​x−bi​) ​∞​]<ϵcons​,∥∇x​Lρ​(x,λ,μ)∥∞​<ϵprec​

  

---

• →→→→→←♪←→←←→→→☆→→←←→→→←←☆→→→→←↑←→←←♬→→→→→♦→←←♩→→←←◑←←←←→←←→♥→←←→←→←←★→→→→→→→→→→◐←←→→→↙→→→←↓←→→→◀→→→←←→→→→◆→→←←→→→→→★←→→→←→←←→→→→→←☆→→←←→→→→→♫↔→→→→←←←←↕←←←♬←←←↖←←◑←←→←←→▶→→→→←←←←→←★←→→→

---

   那么如何求解外层优化${\mathcal{L}}_{\rho }(x,\lambda ,\mu )$呢？，在下图中的例子中，令$\lambda ,\mu$为0，该子问题是凸的且可微的，但其具有不连续的Hessian。因此，可以使用梯度下降法或改进的拟牛顿法进行求解（尽管求解速度并不总是理想的）。

   如果我们应用修正的阻尼牛顿法去求解会怎样? 假设可以拿类似于牛顿的方法去解，他应该是怎样的过程？

   该子问题就是增广拉格朗日函数对x求最小值，即求${\mathcal{L}}_{\rho }(x,\lambda ,\mu )w.r.t.x$,它的梯度和Hessian分别为（如果存在的话）：$g={\nabla }_x{\mathcal{L}}_{\rho }(x,\lambda ,\mu ),H={\nabla }_x^2{\mathcal{L}}_{\rho }(x,\lambda ,\mu )$，对称锥的增广拉格朗日关于x是凸的，可以保证$H⪰0$，即可以保证它是半正定的。

   回想一下之前介绍的修正阻尼牛顿法，我们是否可以进行如下更新? d就是得到的近似步长

   $$(H+ϵI)d=-g,ϵ=\min (1,\Vert g{\Vert }_{\infty })$$

   但很多问题的最优解就在边界上（锥的边缘上），很有可能在Hessian不存在的区域，可以采用如下介绍的半光滑的牛顿方法

---

   三十、半光滑的牛顿方法（Semi-Smooth Newton Method）

   对于一个以n维向量为输入，以n维向量为输出的函数F(x)，它是局部Lipschitz的，它的导数$F^{\prime }(x)$几乎总是存在的，即雅克比几乎是处处存在的，我们把雅克比存在的集合称为$D_F$，它的B次微分可以定义为下式：

   $${\partial }_{B}F(x):=\left\{\underset{k\to \infty }{\lim }{F}^{\prime }(x^k)\mid x^k\in D_F,x^k\to x\right\}$$

   举个例子，对于y=|x|这个函数，它的B次微分就是1和-1

   这个B次微分与常用的(Clarke)次微分是取凸包的关系，如下式所示：

   $$\partial F(x)=\mathrm{conv}({\partial }_{B}F(x))$$

   我们把Lipschitz的F(x)称为半光滑的，其需要满足下式

   $$\underset{d\in {\mathbb{R}}^n,d\to 0}{\lim }\frac{\Vert F(x+d)-F(x)-J(d)d\Vert }{\Vert d\Vert }=0,\forall J(d)\in \partial F(x+d)$$

   如果它是强半光滑的，则它进一步满足下式：

   $$\underset{d\in {\mathbb{R}}^n,d\to 0}{\lim }\frac{\Vert F(x+d)-F(x)-J(d)d\Vert }{\Vert d{\Vert }^2}<\infty ,\forall J(d)\in \partial F(x+d)$$

   如果F(x)是半光滑，或强半光滑的，则其存在如下的性质：(强)半光滑在标量乘法、求和和合成下是封闭的。当一个向量值函数的分量是(强)半光滑时，它就是(强)半光滑的。

   那么我们常见的函数中那些是半光滑或强半光滑的呢？

   •所有的Lipschitz连续光滑函数都是半光滑的，如$x^2$、$x^3$。

   •所有Lipschitz连续凸函数(例如范数)都是半光滑的。

   •所有的Lipschitz，且一次分片连续函数都是半光滑的。

   •所有具有Lipschitz梯度的Lipschitz一次连续函数都是强半光滑的。

   •所有p>=1的p范数都是强半光滑的。

   •所有Lipschitz连续分段仿射函数都是强半光滑的。

   •所有Lipschitz的，分片二阶连续可微的函数都是强半光滑的。

   半光滑或强半光滑的优点有哪些？

   若F(x)是半光滑的，求F（x）=0，$J(x)\in {\partial }_{B}F(x)$，下面的迭代可以获得局部超线性收敛。

   $$x^{k+1}=x^k-J(x^k{)}^{-1}F(x^k)$$

   若F（x）是强半光滑的，则迭代可达到局部二次收敛速度。

   $$g(x):={\nabla }_x{\mathcal{L}}_{\rho }(x,\lambda ,\mu )$$

   锥增广拉格朗日函数的梯度是强半光滑的，因为它是二次分段连续的。因此，我们可以计算如下半光滑牛顿步长，进行无约束优化。

   $$\begin{array}{rl}& (H+ϵI)d=-g\\ & g={\nabla }_x{\mathcal{L}}_{\rho }(x,\lambda ,\rho )\\ & H\in {\partial }_B{\nabla }_x{\mathcal{L}}_{\rho }(x,\lambda ,\rho )\\ & ϵ=\min (1,\Vert g{\Vert }_{\infty })/10\end{array}$$

   如何计算上面的梯度和梯度的B次微分?

   梯度可以利用下式直接计算：

   $${\nabla }_x{\mathcal{L}}_{\rho }(x,\lambda ,\mu )=c+G^{\mathrm{T}}(\lambda +\rho (Gx-h))-\sum _{i=1}^m{A}_i^{\mathrm{T}}{P}_{{\mathcal{K}}_i}(\mu -\rho (A_{i}x+b_i))$$

   广义的Hessian，即梯度的b次微分可通过下式计算:

   $${\partial }_B{\nabla }_x{\mathcal{L}}_{\rho }(x,\lambda ,\mu )=\rho \left(G^{\mathrm{T}}G+\sum _{i=1}^m{A}_i^{\mathrm{T}}{\partial }_B{P}_{{\mathcal{K}}_i}(\mu -\rho (A_{i}x+b_i))A_i\right)$$

   具体来说，对于SOCP情况, b次微分可以采用下式进行计算

   ∂ B P K i ( x ) ∋ { I n ∥ x 2 ∥ ≤ x 1 , 0 ∥ x 2 ∥ ≤ − x 1 , ( 1 2 x 2 T 2 ∥ x 2 ∥ x 2 2 ∥ x 2 ∥ x 1 + ∥ x 2 ∥ 2 ∥ x 2 ∥ I n − 1 − x 1 x 2 x 2 T 2 ∥ x 2 ∥ 3 ) ∥ x 2 ∥ > ∣ x 1 ∣ . \partial_BP_{\mathcal{K}_i}(x)\ni\begin{cases}I_n&\|x_2\|\leq x_1,\\0&\|x_2\|\leq-x_1,\\\begin{pmatrix}\frac12&\frac{x_2^\mathrm{T}}{2\|x_2\|}\\\\\frac{x_2}{2\|x_2\|}&\frac{x_1+\|x_2\|}{2\|x_2\|}I_{n-1}-\frac{x_1x_2x_2^\mathrm{T}}{2\|x_2\|^3}\end{pmatrix}&\|x_2\|>|x_1|.&\end{cases} ∂B​PKi​​(x)∋⎩ ⎨ ⎧​In​0 ​21​2∥x2​∥x2​​​2∥x2​∥x2T​​2∥x2​∥x1​+∥x2​∥​In−1​−2∥x2​∥3x1​x2​x2T​​​ ​​∥x2​∥≤x1​,∥x2​∥≤−x1​,∥x2​∥>∣x1​∣.​​

---

---

   参考资料：

   1、数值最优化方法（高立 编著）

   2、机器人中的数值优化

---