最优化方法（3）:线性规划基本理论

系列笔记是本人在上最优化方法时整理的，参考书籍为经典的 Numerical Optimization (Second Edition)。笔记主要分为0～5共六个部分，包括优化基础、线搜索、带约束优化基础、线性规划、对偶理论、带约束凸优化算法，以及一些零散的部分。这里是第三部分，也就是线性规划基本理论。

线性规划基本理论

线性规划标准形式与转化

线性规划问题有着如下形式：
$$\begin{array}{rl}& \min c^{T}x\\ & s.t.a_i^{T}x\le b_i,i=1,\dots ,m,\end{array}$$
约束条件可以写成：
A x : = ( a 1 T a 2 T … a m T ) ⋅ x ≤ b Ax:=\begin{pmatrix} a_{1}^{T} \\ a_{2}^{T} \\ \dots \\ a_{m}^{T} \end{pmatrix}\cdot x\leq b Ax:= ​a1T​a2T​…amT​​ ​⋅x≤b
引入松弛变量 $z$，并将 $x$ 写成 $x=x^{+}-x^{-}$ 使得上式化为等式：
( A − A I ) ⋅ ( x + x − z ) = b ( x + x − z ) T ≥ 0 \begin{align*} \begin{pmatrix} A & -A & I \end{pmatrix}\cdot \begin{pmatrix} x^{+} \\ x^{-} \\ z \end{pmatrix}=b\\ \begin{pmatrix} x^{+}&x^{-}&z \end{pmatrix}^{T}\geq 0 \end{align*} (A​−A​I​)⋅ ​x+x−z​ ​=b(x+​x−​z​)T≥0​

就化成了如下形式：
$$\begin{array}{rl}& \min c^{T}x\\ & \text{s.t. }Ax=b,x\ge 0,\end{array}$$
被称为标准形式。此后研究都采取该形式。

一个小小的问题是，当改变成标准形式后，我们似乎没有添加$x^{+},x^{-}$两者中最多只有一者严格大于0这一限制。但是线性规划的目标函数$\left(\begin{array}{cc}{c}^T& -c^T\end{array}\right)\cdot \left(\begin{array}{c}{x}^{+}\\ x^{-}\end{array}\right)$保证了在取得最值时，两者中至多只有一者严格大于0。

更为复杂的转化问题包含了max和绝对值函数。考虑这样一个问题：
$$\min \underset{i}{\max }|a_i^{T}x-b_i|$$
可以转化为：
$$\begin{array}{rlr}& \min t& \\ & s.t.& a_i^{T}x-t\le b_i\\ & & -a_i^{T}x-t\le -b_i\end{array}$$
关键就是引入松弛变量和取正部和负部。

基本理论准备

先介绍一些术语：”不可行“指可行域为空集，“无界”是指在可行域内目标函数没有下界，“最小值点”也称作解。

线性规划的标准形式的拉格朗日函数为：
$$\mathcal{L}(x,\lambda ,s)=c^{T}x-{\lambda }^T(Ax-b)-s^{T}x.$$KKT条件如下：
$$\begin{array}{rl}& c^{}=A^T\lambda +s,\\ & Ax=b,x\ge 0,\\ & \begin{array}{r}s\ge 0,x_i{s}_i=0,1\le i\le n.\end{array}\end{array}$$

对于线性规划问题，我们总有$T_{\Omega }(x)\equiv \mathcal{F}(x)$，于是KKT条件就是一个必要条件。对于线性优化（凸优化），KKT条件还是一个充分条件。
证明：
$$c^{T}x=(A^T{\lambda }_{\ast }+s_{\ast }{)}^{T}x={\lambda }_{\ast }^{T}Ax+s_{\ast }^{T}x\ge {\lambda }_{\ast }^{T}Ax={\lambda }_{\ast }^{T}A{x}_{\ast }=c^T{x}_{\ast }$$

设 $A=A_{m\times n}$，其中 $m\le n$。我们必须假设这个约束集没有重复约束，也就是说$r\left(A\right)=m$。于是该约束给出了一个 $n-m$ 维超平面。根据高中所学的线性规划知识，我们知道线性规划问题的最优值总是在可行域的某一个顶点上取到。下面我们希望证明这一点。在此之前，我们希望给顶点一个代数刻画。由于上述区域一定是凸的，于是顶点的等价刻画为：
$$if:x=\alpha y+(1-\alpha )z,\alpha \in (0,1)⟹x=y=z$$

定义. 一个点 $x$ 被称作基本可行点，如果它是可行的，并且存在一个索引集 $\{1,\cdots ,n\}$ 的子集 $\mathcal{B}$，使得：

• $\mathcal{B}$ 包含 $m$ 个索引 (m来源于$A_{m\times n}$)。
• 对于所有 $i\notin \mathcal{B}$，有 $x_i=0$（只有当 $i\in \mathcal{B}$ 时，$x_i\ge 0$ 才可能不为零）。
• 矩阵 $B=[A_i{]}_{i\in \mathcal{B}}$ 是满秩的，其中 $A_i$ 是矩阵 $A$ 的第 $i$ 列。

定理：一个基本可行点一定是顶点，反之亦然。

证明：不失一般性，设 $\mathcal{B}:=\{1,2,\dots ,m\}$。于是 $x_{m+i}=0,n-m\ge i\ge 1$。而：
$$b=Ax=\sum _{i=1}^m{A}_i{x}_i$$
如果存在： $x=\alpha y+(1-\alpha )z,\alpha \in (0,1)$，对于 $m+i$ 项， $y,z$肯定都是0。下面看前 m 项。于是，由$y,z$可行：
$$b=\sum _{i=1}^m{y}_i{A}_i=\sum _{i=1}^m{z}_i{A}_i$$
由于这时是满秩线性组合，可知组合系数唯一。于是 x=y=z。从而可知 x 一定是顶点。

下面证明 x 是顶点，则其为一个基本可行点。设顶点 $x$ 有 $p$ 个分量非零，不失一般性设 $i\le p$ 的分量非零。下证 $B=[A_i{]}_{i\le p}$满秩。

如果不满秩，则 $A_p={\sum }_{i=1}^{p-1}{z}_i{A}_i$。对于可行点 $x$，令微扰 x ( ε ) : = x + ε ( z 1 … z p − 1 − 1 ) x(\varepsilon):=x+\varepsilon \begin{pmatrix} z_{1} \\ \dots \\ z_{p-1} \\ -1 \end{pmatrix} x(ε):=x+ε ​z1​…zp−1​−1​ ​
于是 $Ax(\epsilon )=Ax=b$。而 $x_i>0$，当 $\epsilon$ 足够小时， $x_i+\epsilon z_i$仍然大于零。于是 $x(\epsilon ),x(-\epsilon )$都是可行点，两者组合中点就是x，与顶点的定义矛盾。

于是 $p\le m$。而如果 $p<m$，可以随意再加入 $m-p$ 个列构成满秩方阵。这就完成了定理的证明。

定义 基本最优点：基本最优点是指作为解的基本可行点。
定理：如果可行，则必有基本可行点；如果有解，则必有基本最优点。
证明：先证明前半句话。如果有可行点，则设可行域为 $D\ne \varnothing$. 取其中某一个拥有最少非零分量数的点 $x$，设其非零分量数为 $p$。下证其为基本可行点。如果p=0，则显然可以任取 $A_i$ 构成一个满秩方阵，所以令 $p\ge 1$ 。不妨设 $x_1,x_2,\dots ,x_p$ 非零。则 $A_1,A_2,\dots ,A_p$ 独立。否则$A_p={\sum }_{i=1}^{p-1}{z}_i{A}_i$。仍按照上面一个定理的证明中定义 $x(\epsilon )$，当 $\epsilon$ 慢慢变大时，至少 $p$ 位置上的 $x_p$ 可以被清零。这与 $x$ 是非零分量最少的点矛盾。于是前半句话得证。

接下来证明后半句话。同样找到非零分量数最少的解 $x$，下证明其为基本可行点。设其非零分量数为 $p$，不妨设 $x_1,x_2,\dots ,x_p$ 非零。对于可行点 $x$，令微扰 x ( ε ) : = x + ε ( z 1 … z p − 1 − 1 ) x(\varepsilon):=x+\varepsilon \begin{pmatrix} z_{1} \\ \dots \\ z_{p-1} \\ -1 \end{pmatrix} x(ε):=x+ε ​z1​…zp−1​−1​ ​
由于 $x$ 是最优点，于是：
c T x ≤ c T x ( ε )    ⟹    c T ( z 1 … z p − 1 − 1 ) = 0 c^{T}x\leq c^{T}x(\varepsilon)\implies c^{T}\begin{pmatrix} z_{1} \\ \dots \\ z_{p-1} \\ -1 \end{pmatrix}=0 cTx≤cTx(ε)⟹cT ​z1​…zp−1​−1​ ​=0
于是 $c^{T}x=c^{T}x(\epsilon )$ 。从而在 $(-{\epsilon }_0,{\epsilon }_0)$上 $x(\epsilon )$ 都是最优点。经过和上半个证明一样的过程，就得到了一个非零分量更少的解，矛盾。于是得证。

线性规划求解

上面一个定理告诉我们，可以从顶点中去搜索最优值。但是如果采用构造 $\mathcal{B}$ 的方法来构造顶点，需要 $\left(\begin{array}{c}n\\ m\end{array}\right)$次才能搜索完全部的顶点。这显然是无法接受的。

我们换一个视角来看问题。上述约束构成了一个凸多面体，目标函数的梯度负方向 $-c$ 可以视作重力方向。我们在该多面体表面上滴一滴水珠，让其在重力的作用下运动。最后他必然会滑到某一个解上。如果我们限制他运动的方向是顶点到顶点，那么就找到了基本最优点。

先介绍退化（degenerate）情况。如果对应基$\mathcal{B}$的解$x$中在$\mathcal{B}$对应的索引内也有为0的分量，则称为退化的情况，$\mathcal{B}$此时被称为退化的基。线性规划问题被称为退化的，如果有至少一个的退化的基。

下面我们发展从一个基本可行点找基本最优点的方法。这种方法被称为单纯性法（simplex method）。关键的思想就是相邻的两个顶点的基只有一个分量的差别。于是，通过加减基中的index，就完成了从一个顶点移动到另一个顶点的操作。

KKT条件为：
$$\begin{array}{rl}& c^{}=A^T\lambda +s,\\ & Ax=b,x\ge 0,\\ & \begin{array}{r}s\ge 0,x_i{s}_i=0,1\le i\le n.\end{array}\end{array}$$
令：
$$\mathcal{N}:=\left\{1,2,\dots ,n\right\}/\mathcal{B},B:={\left[A_i\right]}_{i\in \mathcal{B}},N:={\left[A_i\right]}_{i\in \mathcal{N}},s_B={\left(s_i\right)}_{i\in \mathcal{B}},s_N:={\left(s_i\right)}_{i\in \mathcal{N}}$$
于是：
$$x_B=B^{-1}b$$
KKT条件中唯一可能不被满足的就是$s^{T}x=0$一条。不妨设$s_B=0$，于是：
$$\left[\begin{array}{c}{c}_B\\ c_N\end{array}\right]=\left[\begin{array}{c}{B}^T\lambda \\ N^T\lambda \end{array}\right]+\left[\begin{array}{c}{s}_B\\ s_N\end{array}\right]$$
可以解得：
$$\lambda =B^{-T}{c}_B,s_N=c_N-{\left(B^{-1}N\right)}^T{c}_B$$
此时，如果$c_N\ge 0$，则KKT条件被满足，最优值达到。反之，则必然存在$q\in \mathcal{N},s_q<0$。

我们希望通过增大$x_q$的方式，使得最终$s_q=0$。设改变后的变量为：
$$x^{+}=\left(x_B^{+},0,0,\dots ,x_q^{+},0,\dots ,0\right)$$
为了满足约束条件，我们有：
$$B{x}_B^{+}+A_q{x}_q^{+}=b=B{x}_B$$
$$x_B^{+}=x_B-B^{-1}{A}_q{x}_q^{+}.$$
不断增大$x_q^{+}$，使得$x_B^{+}$中有某一个分量减少到0。这个操作的合法性来源是该线性规划问题是非退化的这一前提，否则可能出现无法增大$x_q$的情况。令$B^{-1}{A}_q={\left(d_1,d_2,\dots ,d_m\right)}^T$。比例$x_{B_i}/d_i$最小的正数项就是那个被减为0的分量。

在这样的改变之后，我们可以证明目标函数的值确实变小了：
$$\begin{array}{rl}{c}^T{x}^{+}& =c_B^T{x}_B^{+}+c_q{x}_q^{+}=c_B^T{x}_B-c_B^T{B}^{-1}{A}_q{x}_q^{+}+c_q{x}_q^{+}\\ & =c_B^T{x}_B-{\lambda }^T{A}_q{x}_q^{+}+c_q{x}_q^{+}=c_B^T{x}_B-(c_q-s_q)x_q^{+}+c_q{x}_q^{+}\\ & =c^{T}x+s_q{x}_q^{+}.\end{array}$$

一些讨论

如何开始线性规划问题

我们希望找到一个起始的可行迭代点。我们会看到，这个问题几乎和求解线性规划问题本身一样困难。

随意找一组基$\mathcal{B}$，点$x_B=B^{-1}b$可能存在小于零的分量，因此不是一个可行点。我们采用[[04：对偶理论]]一节中的理论来求解起始点。考虑问题：
$$\begin{array}{ll}\min & 0\\ s.t.& Ax=b,x\ge 0\end{array}$$
拉格朗日函数为：
$$L(x,\lambda ,\nu )=-{\lambda }^T\left(Ax-b\right)-s^{T}x$$
其中$\nu \ge 0$。于是对偶问题为：
$$\begin{array}{ll}\max & {\lambda }^{T}b\\ s.t.& A^T\lambda +s=0,s\ge 0\end{array}$$
这显然也是一个线性规划问题。由于prime-dual问题的最优值由强对偶性保证同时取到，并且由KKT的充要性可知该解一定满足KKT条件，于是求解第二个问题得到的$\nu$，满足${\nu }^{T}x=0$。这也就帮我们选定了基。而且，对偶问题的初始点是可以直接得到的，只需要令${\nu }_0={\lambda }_0=0$即可。于是，我们就通过求解对偶问题来求得了原问题的初始可行点。

单纯性法的表格形式

令$c^{T}x+z=0$。于是：
$$\left[\begin{array}{ccc}1& c^T& 0\\ 0& [B|N]& b\end{array}\right]$$
是方程的增广矩阵。

对第二行乘以一个$B^{-1}$:
$$\left[\begin{array}{ccc}1& c^T& 0\\ 0& [{\mathcal{I}}_m|D]& x_B\end{array}\right]$$
由于：
$$s_N=c_N-{\left(B^{-1}N\right)}^T{c}_B$$
可以化为：
$$\left[\begin{array}{ccc}1& \left[0|s_N^T\right]& z_B\\ 0& [{\mathcal{I}}_m|D]& x_B\end{array}\right]$$