初探约束优化问题(含KKT条件与拉格朗日乘子法）

延期开学,停课不停学的口号和行动真是最近一股热潮,想开学但不想学习的小李又要被迫开始学习了。害！在家学习的效率真的不高。
今天初步介绍一下，约束优化问题的最优条件--KKT条件，其中会涉及到关于拉格朗日乘子法的知识。

---

what?

KKT条件是Karush，以及Kuhn和Tucker先后独立发表出来的,Karush-Kuhn-Tucker (KKT)条件是非线性规划最佳解的必要条件。

在传统的约束条件的最优化问题中，约束条件分为：
①等式约束
②不等式约束
对于等式约束的优化问题：
可直接应用拉格朗日乘子法去求取最优值；
对于含有不等式约束的优化问题：
可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。

（注意：拉格朗日求得的并不一定是最优解，只有在凸优化的情况下，才能保证得到的是最优解，所以这里称拉格朗日乘子法得到的为可行解，其实就是局部极小值）

接下来从无约束优化开始一一讲解。

1.无约束优化问题
首先考虑一个不带任何约束的优化问题，对于变量 的函数 f(x) ,无约束优化问题如下: 该问题很好解，无约束优化问题的极值（函数的最大值/最小值）通常发生在斜率为零的点上, 即 ，如果没有解析解的话，可以使用梯度下降或牛顿方法等迭代的手段来使 x 沿负梯度方向逐步逼近极小值点。

2.等式约束优化问题
当目标函数加上约束条件之后，问题就变成如下形式：

（注意：式子下面部分即为约束条件，这个时候约束条件会将解的范围限定在一个可行域，此时不一定能找到使得为 0 的点，只需找到在可行域内使得 f(x) 最小的值即可。）
常用的方法即为拉格朗日乘子法，该方法首先引入 Lagrange Multiplier ，构建 Lagrangian 如下：

其中 称为Lagrange乘数。Lagrange乘数法将原本的约束优化问题转换成等价的无约束优化问题:

计算L 对 X 与 的偏导数并设为零，可得最优解的必要条件：

我们令导数为 0 ，求得 x 、 的值后，将 x 带入 f(x) 即为在约束条件 g(x)下的可行解。
这样做的意义是什么呢? 接下来看一个直观的示例，对于二维情况下的目标函数是 f(x,y)，在平面中画出 f(x,y)的等高线，如下图的虚线所示， 并只给出一个约束等式 h(x,y)=0，如下图的绿线所示，目标函数 f(x,y)与约束 h(x,y) 只有三种情况，相交、相切或者没有交集，没交集肯定不是解,只有相交或者相切可能是解，但相交得到的一定不是最优值，因为相交意味着肯定还存在其它的等高线在该条等高线的内部或者外部，使得新的等高线与目标函数的交点的值更大或者更小，这就意味着只有等高线与目标函数的曲线相切的时候，才可能得到可行解.

因此给出结论：拉格朗日乘子法取得极值的必要条件是目标函数与约束函数相切，这时两者的法向量是平行的，即(这里的约束条件与上诉例子h(x)相符):
所以只要满足上述等式，且满足之前的约束,即可得到解，联立起来，正好得到就是拉格朗日乘子法。这里只是直观展示了一下拉格朗日乘子法的几何推导 ，并没有给出详细的证明。

3.不等式约束优化
当约束加上不等式之后，情况变得更加复杂，首先来看一个简单的情况,如下所示：对应的 Lagrangian 与图形分别如下所示：

可行解必须落在约束区域 g(x) 之内，如上图给出了目标函数的等高线与约束。
由图可见可行解 x 只能在 g(x)<0 或者 g(x)=0 的区域里取得：
1.当可行解 x落在 g(x)<0 的区域内，这里称为内部解，此时约束条件是无效的，即g(x)不起作用，约束优化问题退化为无约束优化问题，此时直接极小化 f(x)即可；
2.当可行解 x落在 g(x)=0 即边界上，称为边界解，此时约束条件是有效的，此时等价于等式约束优化问题.

以上两种情况就是说，要么可行解落在约束边界上即得 g(x)=0 ，要么可行解落在约束区域内部，此时约束不起作用，另 λ=0消去约束即可，所以无论哪种情况都会得到(称为互补松弛性)：

注意：还有一个问题是 λ的取值，在等式约束优化中，约束函数与目标函数的梯度只要满足平行即可，而在不等式约束中则不然，若 λ≠0，这说明可行解 x 是落在约束区域的边界上的，这时可行解应尽量靠近无约束时的解。所以在约束边界上，目标函数的负梯度方向应该远离约束区域朝向无约束时的解，此时正好可得约束函数的梯度方向与目标函数的负梯度方向应相同：

上式需要满足的要求是拉格朗日乘子 λ≥0，这里λ 的正负号是有其意义的。因为我们希望最小化f，梯度 (函数 f 在点 x 的最陡上升方向)应该指向可行域 的内部(因为最优解最小值是在边界取得的)，但 指向 可行域的外部(即g(x)>0的区域，因为你的约束是小于等于0)，故λ≥0，称为对偶可行性。

举个形象的例子，假设你去爬山，目标是山顶，但有一个障碍挡住了通向山顶的路，所以只能沿着障碍爬到尽可能靠近山顶的位置，然后望着山顶叹叹气，这里山顶便是目标函数的可行解，障碍便是约束函数的边界，此时的梯度方向一定是指向山顶的，与障碍的梯度同向。

划重点！可见对于不等式约束，只要满足一定的条件，仍然可以使用拉格朗日乘子法解决，这里的条件便是 KKT 条件。

KKT条件:

1.原可行性:g(x)≤0
2.对偶可行性: λ≥0
3.互补松弛条件:λg(x)=0
4.拉格朗日平稳性: ▽f(x)+λ×▽g(x)=0

条件2.3在上面已经简单叙述，接下来说一下条件4
拉格朗日平稳性：下面显示了具有等式约束的优化问题的等高线图（它是通过绘制2D格式上的目标函数值的常量切片来表示3D表面的图）。

从等高线图中，我们可以推断出上述问题只发生了两种可行点：
1、切点：水平曲线（等高线）和约束线彼此相切的点
2、交点：水平曲线和约束线相交的点。
在等高线图中，如从交叉点（沿约束线）向左移动，则目标函数值会增加。 它表明该问题在这方面有改进的余地。 同样，如从交叉点向右移动，目标函数值会减小。 但，对于上图中的切线点，从切线点向右或向左移动只会降低目标函数值，意味着约束优化问题的极值总是落在切点上。
结论1：约束优化问题的极值总是发生在切点上。

函数的梯度指向函数增加最大的方向。
在下面的等高线图中，从一个水平曲线移到另一个水平曲线的最短路径是垂直方向，水平曲线与函数中没有立即变化的方向相切。 这意味任何点处函数的梯度都垂直于该点的函数水平曲线。

结论2：函数的梯度和函数的水平曲线的相切是正交的
结合结论1和2，我们可以得出结论，约束的梯度（ ）和目标函数的梯度（ ）在极值处（切线点）方向是相同或者相反的。 表达如下：

可参考：直观理解KKT条件
上面结果可推广至多个约束等式与约束不等式的情况。考虑标准约束优化问题(或称非线性规划)：

定义Lagrangian 函数:

综上，约束优化问题的KKT条件大致已经叙述完毕，现举个简单例子：
问题如下

KKT 方程组如下：

具体参考：Karush-Kuhn-Tucker (KKT)条件
友情链接：约束优化方法之拉格朗日乘子法与KKT条件

---

Ending~可太难了这些！