机器人中的数值优化（十五）——PHR增广拉格朗日乘子法

   本系列文章主要是我在学习《数值优化》过程中的一些笔记和相关思考，主要的学习资料是深蓝学院的课程《机器人中的数值优化》和高立编著的《数值最优化方法》等，本系列文章篇数较多，不定期更新，上半部分介绍无约束优化，下半部分介绍带约束的优化，中间会穿插一些路径规划方面的应用实例

---

---

  

   二十四、PHR增广拉格朗日乘子法

   如何对一个更一般化的带约束的问题求解呢？比如f(x)、g(x)、h(x)非凸的时候如何求解？

   1、KKT条件

   如下式所示的更一般的带约束的优化问题

   $$\begin{array}{rl}{\min }_x& f(x)\\ s.t.& h_i(x)\le 0,i=1,\dots ,m\\ & {\ell }_j(x)=0,j=1,\dots ,r\end{array}$$

   如果它不是退化的(如它是凸的但没有严格可行点)，则它的最优解满足以下表达式

   $$\begin{array}{rl}& 0\in {\partial }_x[f(x)+\sum _{i=1}^m{u}_i{h}_i(x)+\sum _{j=1}^r{v}_j{\ell }_j(x)]\\ & u_i\cdot h_i(x)=0,i=1,\dots ,m\\ & h_i(x)\le 0,{\ell }_j(x)=0,i=1,\dots ,m,j=1,\dots ,r\\ & u_i\ge 0,i=1,\dots ,m\end{array}$$
   其中，上述第一行是稳定性条件，第二行表达式是互补松弛条件，不等式约束的对偶变量和不等式约束的乘积等于0，第三行表达式表示可行解一定满足等式或不等式约束，第四行表示不等式约束的对偶变量要大于0

   对于简单的问题，我们可以直接拿KKT条件把简单的约束优化的问题写出它最优解满足的一些必要条件，不含有不等式约束时，甚至直接把对应的等式方程组直接求解出来。KKT条件用来度量约束算法解的精度

   下图中的例子中，仅含有等式约束，最优解一定满足下式所示的线性方程组，Q是严格正定的

---

   2、PHR的含义

   Powell-Hestenes-Rockafellar (PHR)是三个关于拉格朗日乘子法最起源的文章的作者的第一个字母，前两个作者在等式约束中提出了对应的方法，第三个作者将其推广到不等式约束上。

   3、带等式约束的情况

   $$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }& f(x)\\ s.t.& h(x)=0\end{array}$$

   前文介绍的Uzawa的方法是对二重函数进行二重的梯度上升，如下所示

   $$d(\lambda ):=\underset{x}{\min }f(x)+{\lambda }^{\mathrm{T}}h(x)$$

   如果拉格朗日函数关于x不是严格凸的，则对偶函数是非光滑的。在这种情况下，它的梯度可能不存在，使二重梯度上升成为问题。即使是严格凸的，其效率也可能存在问题。

   $$\nabla d(\lambda )\text{ does not necessarily exist!}$$

   在PHR方法中，基本思想是把不连续的问题变成连续的问题，在右边项中加一个二次项，如下式中的红色部分所示， 我们不知道最优的$\lambda$在哪，但我们有一个先验的估值$\bar{\lambda }(\rho >0)$，我们利用它来作一个惩罚项$-\frac{1}{2\rho }\Vert \lambda -\bar{\lambda }{\Vert }^2$。内层变成了一个严格凹的函数，对于该严格凹函数，可以求得其唯一的最优解，极大极小值被一个“近端点”项平滑，

   $$\underset{x}{\min }\underset{\lambda }{\max }f(x)+{\lambda }^{\mathrm{T}}h(x)-\frac{1}{2\rho }\Vert \lambda -\bar{\lambda }{\Vert }^2$$

   现在我们可以直接优化极大极小问题了，而不需要交换顺序。当$\rho$趋于inf时，上式跟原问题越接近，精度越高

   那么如何求解以上问题呢？，带上述正则项的子问题如下式所示

   $$\underset{\lambda }{\max }f(x)+{\lambda }^{\mathrm{T}}h(x)-\frac{1}{2\rho }\Vert \lambda -\bar{\lambda }{\Vert }^2$$

   对于这样一个严格凹的函数求最大值，我们可以对其求导，第一项对$\lambda$求导是0，第二项对$\lambda$求导是h(x)，第三项对$\lambda$求导是$-\frac{1}{\rho }(\lambda -\bar{\lambda })$，可得到以下关系式：

   $$0+h(x)-\frac{1}{\rho }(\lambda -\bar{\lambda })=0$$
   可以解得$\lambda$最大值如下所示,其中$\bar{\lambda }$是一个常数，随着$\bar{\lambda }$的值的改变，${\lambda }^{\ast }(\bar{\lambda })$也随之改变。

   $${\lambda }^{\ast }(\bar{\lambda })=\bar{\lambda }+\rho h(x)$$

   把上述内层问题的最优解代入到，我们要求解的问题中，如下所示：

   $$\begin{array}{rl}& \underset{x}{\min }\underset{\lambda }{\max }f(x)+{\lambda }^{\text{T}}h(x)-\frac{1}{2\rho }\Vert \lambda -\bar{\lambda }{\Vert }^2\\ & =\underset{x}{\min }f(x)+{\lambda }^{\ast }(\bar{\lambda }{)}^{\mathrm{T}}h(x)-\frac{1}{2\rho }\Vert {\lambda }^{\ast }(\bar{\lambda })-\bar{\lambda }{\Vert }^2\\ & =\underset{x}{\min }f(x)+(\bar{\lambda }+\rho h(x{)}^{\mathrm{T}}h(x)-\frac{\rho }{2}\Vert h(x){\Vert }^2\\ & \stackrel{\cdot }{=}\underset{x}{\min }f(x)+{\bar{\lambda }}^{\mathrm{T}}h(x)+\frac{\rho }{2}\Vert h(x){\Vert }^2\end{array}$$

   通过上式，我们成功将带等式约束的优化问题转换为无约束的优化问题，由于先验估值$\bar{\lambda }$不一定准确，导致求出的最优解，跟原问题的最优解可能有偏差，但是利用该先验估值求出的${\lambda }^{\ast }$，是向原最优解靠拢的，因此，我们可以把上述利用差的先验估值得出的${\lambda }^{\ast }$，作为新的$\bar{\lambda }$，再求解出一个更高精度的${\lambda }^{\ast }$

   $$\begin{array}{rl}1.& \text{Reduce the approx. weight}1/\rho \\ 2.& \text{Update the prior value}\bar{\lambda }\leftarrow {\lambda }^{\ast }(\bar{\lambda })\end{array}$$

   总的来说，我们可以增大权重$\rho$/2，或者通过利用差的先验估值得出的${\lambda }^{\ast }$，作为新的$\bar{\lambda }$，再求解出一个更高精度的${\lambda }^{\ast }$，这两种方法来提高最优解的精度。但$\rho$过大可能出现不容易解的问题，所以这两种方法可以配合使用。

   求解过程如下所示，首先给一个先验估值$\bar{\lambda }$和一个$\rho$，两者都是常量，然后求解这样一个无约束优化问题，比如利用L-BFGS算法、牛顿法等求解，得到最优的x，然后利用这个x去更新先验估值$\bar{\lambda }$，然后再利用新的先验估值，求解这个无约束优化问题。$\rho$值可以不用取得很大，比如10、100、1000，循环5~8轮就可以得到精度很高的解

   $$\begin{array}{rl}& x\leftarrow \arg \underset{x}{\min }f(x)+{\bar{\lambda }}^{\mathrm{T}}h(x)+\frac{\rho }{2}\Vert h(x){\Vert }^2\\ & \bar{\lambda }\leftarrow \bar{\lambda }+\rho h(x)\end{array}$$

   与之前介绍的Uzawa’s相比，PHR方法多了一个增广项$\frac{\rho }{2}\Vert h(x){\Vert }^2$,并且$\bar{\lambda }$的更新步长为$\rho$ ，在Uzawa’s的视角下，上述问题可表示为，即将PHR方法的增广项$\frac{\rho }{2}\Vert h(x){\Vert }^2$视为目标函数的一部分。

   $$\begin{array}{r}\underset{x\in {\mathbb{R}}^n}{\min }f(x)+\frac{\rho }{2}\Vert h(x){\Vert }^2\\ s.t.h(x)=0\end{array}$$

   即使优化是非凸的，这个问题也完全等价于原来的问题。它的拉格朗日量，也称为原问题的增广拉格朗日量，如下所示

   $$\mathcal{L}(x,\lambda ;\rho ):=\underset{\mathrm{Lagrangian}}{f(x)+{\lambda }^{\mathrm{T}}h(x)}+\underset{\mathrm{Augmentation}}{\frac{\rho }{2}\Vert h(x){\Vert }^2}$$

   与Uzawa’s方法相比，PHR方法加了一个正则项，使得新的对偶函数是平滑的，且不改变其极值。PHR方法中对偶变量的更新，实际上是一个平滑对偶函数的最大化。

---

   所以，对于如下式所示的一般的非凸等式约束优化问题，
   $$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }& f(x)\\ s.t.& h(x)=0\end{array}$$

   它的PHR增广拉格朗日函数的一个更常用的等价形式，如下式所示，灰色部分可以省略

   L ρ ( x , λ ) : = f ( x ) + ρ 2 ∥ h ( x ) + λ ρ ∥ 2 − 1 2 ρ ∥ λ ∥ 2 \color{red}\mathcal{L}_\rho(x,\lambda):=f(x)+\frac\rho2\begin{Vmatrix}h(x)+\frac\lambda\rho\end{Vmatrix}^2\color{grey}-\frac1{2\rho}\|\lambda\|^2 Lρ​(x,λ):=f(x)+2ρ​ ​h(x)+ρλ​​ ​2−2ρ1​∥λ∥2

   满足KKT条件的解可通过以下流程获取：

   $$\{\begin{array}{ll}{x}^{k+1}={\mathrm{argmin}}_x{\mathcal{L}}_{{\rho }^k}(x,{\lambda }^k)& \\ {\lambda }^{k+1}={\lambda }^k+{\rho }^{k}h(x^{k+1})& \\ {\rho }^{k+1}=\min [(1+\gamma ){\rho }^k,\beta ]& \end{array}$$

   首先，我们随便给一个${\rho }_k$、${\lambda }^k$，然后优化这个增广拉格朗日函数对于x的最优解，得到$x^{k+1}$，然后利用${\lambda }^k$的更新表达式更新得到${\lambda }^{k+1}$，然后利用第三个表达式增大${\rho }_k$，得到${\rho }^{k+1}$，其中$\gamma \ge 0,\beta >0,{\rho }^0>0$，循环执行以上三个步骤，直至得到所需精度的解。

---

   4、带不等式约束的情况

   对于下式所示的非凸的不等式约束问题，

   $$\begin{array}{rl}\underset{x\in {\mathbb{R}}^n}{\min }& f(x)\\ s.t.& g(x)\le 0\end{array}$$

   我们可以采用增加决策变量维度的方法，即增加m个优化变量s，把不等式约束变成等式约束，如下式所示，

   $$\begin{array}{r}\underset{x\in {\mathbb{R}}^n,s\in {\mathbb{R}}^m}{\min }f(x)\\ s.t.g(x)+[s{]}^2=0\end{array}$$

   其中

   $$[\cdot {]}^2\text{ implies element-wise squaring}$$

   下面的例子可以帮助理解以上转换，也就是满足$g(x)+[s{]}^2=0$ 的 $g(x)$必然满足$g(x)\le 0$

---

   这样我们就把不等式约束问题转换为等式约束问题，然后我们可以直接拿前面的PHR增广拉格朗日乘子法求解，但当m较大时，比如n=100，m=1000，转换后优化变量的维度就变成了1100，此时，有没有更好的处理方法呢？

   增广拉格朗日的最初下降意味着：

   min ⁡ x ∈ R n , s ∈ R m f ( x ) + ρ 2 ∥ g ( x ) + [ s ] 2 + λ ρ ∥ 2 = min ⁡ x ∈ R m min ⁡ s ∈ R m f ( x ) + ρ 2 ∥ g ( x ) + [ s ] 2 + λ ρ ∥ 2 = min ⁡ x ∈ R n f ( x ) + ρ 2 ∥ max ⁡ [ g ( x ) + λ ρ , 0 ] ∥ 2 \min_{x\in\mathbb{R}^n,s\in\mathbb{R}^m}f(x)+\frac\rho2\left\|g(x)+[s]^2+\frac\lambda\rho\right\|^2=\min_{x\in\mathbb{R}^m}\min_{s\in\mathbb{R}^m}f(x)+\frac\rho2\left\|g(x)+[s]^2+\frac\lambda\rho\right\|^2=\color{red}{\min_{x\in\mathbb{R}^n}f(x)+\frac\rho2}\left\|\max\left[g(x)+\frac\lambda\rho,0\right]\right\|^2 x∈Rn,s∈Rmmin​f(x)+2ρ​ ​g(x)+[s]2+ρλ​ ​2=x∈Rmmin​s∈Rmmin​f(x)+2ρ​ ​g(x)+[s]2+ρλ​ ​2=x∈Rnmin​f(x)+2ρ​ ​max[g(x)+ρλ​,0] ​2

   因此，我们可以直接定义不等式约束问题的增广拉格朗日量为:（下式是更常用的写法），其中灰色部分可以省略，此外，为了与等式约束区分，等式约束中的$\lambda$在这里用$\mu$表示。

   L ρ ( x , μ ) : = f ( x ) + ρ 2 ∥ max ⁡ [ g ( x ) + μ ρ , 0 ] ∥ 2 − 1 2 ρ ∥ μ ∥ 2 \color{red}\mathcal{L}_{\rho}(x,\mu):=f(x)+\frac\rho2\left\|\max\left[g(x)+\frac\mu\rho,0\right]\right\|^2\color{grey}-\frac1{2\rho}\|\mu\|^2 Lρ​(x,μ):=f(x)+2ρ​ ​max[g(x)+ρμ​,0] ​2−2ρ1​∥μ∥2

   对偶变量的更新方式如下式所示：

   $${\mu }^{k+1}=\max \left[{\mu }^k+\rho g(x^{k+1}),0\right]$$

---

   5、带等式和不等式约束的情况

   对于下式所示的带等式约束和不等式约束的优化问题，

   $$\begin{array}{r}\underset{x\in {\mathbb{R}}^n}{\min }f(x)\\ \begin{array}{rl}s.t.& h(x)=0\\ & g(x)\le 0\end{array}\end{array}$$

   把上面的带等式约束、不等式约束的表达式加在一起，如下式所示：(灰色部分可以省略)

   L ρ ( x , λ , μ ) : = f ( x ) + ρ 2 { ∥ h ( x ) + λ ρ ∥ 2 + ∥ max ⁡ [ g ( x ) + μ ρ , 0 ] ∥ 2 } − 1 2 ρ { ∥ λ ∥ 2 + ∥ μ ∥ 2 } \color{red}\mathcal{L}_\rho(x,\lambda,\mu):=f(x)+\frac\rho2\left\{\left\|h(x)+\frac\lambda\rho\right\|^2+\left\|\max\left[g(x)+\frac\mu\rho,0\right]\right\|^2\right\}\color{grey}-\frac1{2\rho}\left\{\|\lambda\|^2+\|\mu\|^2\right\} Lρ​(x,λ,μ):=f(x)+2ρ​{ ​h(x)+ρλ​ ​2+ ​max[g(x)+ρμ​,0] ​2}−2ρ1​{∥λ∥2+∥μ∥2}

   其中

   $$\rho >0,\mu ⪰0$$

   求解流程如下所示，循环执行以下流程，直至得到符合要求精度的解

   $$\{\begin{array}{ll}x\leftarrow {\mathrm{argmin}}_x{\mathcal{L}}_{\rho }(x,\lambda ,\mu )& \\ \lambda \leftarrow \lambda +\rho h(x)& \\ \mu \leftarrow \max [\mu +\rho g(x),0]& \\ \rho \leftarrow \min [(1+\gamma )\rho ,\beta ]& \end{array}$$

   $${\rho }_{\mathrm{ini}}=1,{\lambda }_{\mathrm{ini}}={\mu }_{\mathrm{ini}}=0,\gamma =1,\beta =10^3$$

   首先，我们随便给一个$\rho$、$\lambda$，$\mu$、比如$\rho =1$，$\lambda =0$，$\mu =0$，然后优化这个增广拉格朗日函数对于x的最优解，得到$x$，然后分别利用$\lambda$和$\mu$的更新表达式更新$\lambda$和$\mu$，然后利用最后一个表达式增大$\rho$，根据实际需求，也可不增大，循环执行以上四个步骤，当kkT的残差小于设定的值，增广拉格朗日对x的梯度尽可能的小时，如下所示，外层循环停止循环迭代。

   max ⁡ [ ∥ h ( x ) ∥ ∞ , ∥ max ⁡ [ g ( x ) , − μ ρ ] ∥ ∞ ] < ϵ c o n s , ∥ ∇ x L ρ ( x , λ , μ ) ∥ ∞ < ϵ p r e c \max\left[\|h(x)\|_\infty,\left\|\max\left[g(x),-\frac{\mu}{\rho}\right]\right\|_\infty\right]<\epsilon_{\mathrm{cons}},\left.\left\|\nabla_x\mathcal{L}_\rho(x,\lambda,\mu)\right\|_\infty<\epsilon_{\mathrm{prec}}\right. max[∥h(x)∥∞​, ​max[g(x),−ρμ​] ​∞​]<ϵcons​,∥∇x​Lρ​(x,λ,μ)∥∞​<ϵprec​

   同样，当满足下式时，即增广拉格朗日关于x的梯度小于迭代的KKT残差的常数倍的衰减时，内层循环停止

   $$\Vert {\nabla }_x{\mathcal{L}}_{\rho }(x,\lambda ,\mu ){\Vert }_{\infty }<{\xi }^k\min \left[1,\max [\Vert h(x){\Vert }_{\infty },\Vert \max \left[g(x),-\frac{\mu }{\rho }\right]{\Vert }_{\infty }\right]]\text{ with positive }{\xi }^k\text{ converging to }0$$

---

   参考资料：

   1、数值最优化方法（高立 编著）

   2、机器人中的数值优化