1.3 最优化的基本概念

    系统分类

       一般来说，最优化算法研究可以分为：构造最优化模型、确定最优化问题的类型与设计算法、实现算法或调用优化算法软件包进行求解。

       最优化模型的构造与实际问题息息相关。打个比方，给定二维欧几里得空间的若干个分离点，假定它们可以通过一条直线分成两部分，也可以通过一条曲线分成两部分。那么分别使用直线和曲线所得到的最优化模型是不同的。在前文的问题中，目标函数与约束函数都是由模型来决定的。在确定模型后，我们再对模型对应的优化问题进行分类。为什么要对问题再次分类呢？原因是：
       不存在对于所有优化问题的一个统一的算法。

       所以我们需要针对具体优化问题所属的类别，来设计或者调用相应的算法求解器。

       最后就是模型的求解过程。同一类优化问题往往存在不同的求解算法。对于具体的优化问题，我们需要充分利用问题的结构，并根据问题的需求（求解精度和速度等）来设计相应算法。另外，根据算法得到的结果，我们可以判断模型构造是否合理或进一步改进模型。如果构造的模型比较复杂，那么算法求解起来相对困难（时间慢或精度差）。此时算法分析可以帮助我们设计替代模型，以确保快速且比较精致地求出问题的解。

       这三个部分的研究对于形成完备的最优化体系是很有必要的。实际应用导出的各种最优化模型给最优化领域不断地注入新鲜血液，对现有的优化算法进行挑战并推动其向前发展。最优化算法的设计以及理论分析帮助实际问题建立模型更加方便快捷，且建立出来的模型更加稳固。模型与算法是相辅相成的，这才能使得最优化领域不断发展。

    连续和离散优化问题

      最优化问题可分为连续和离散优化问题两大类。连续优化问题是指决策变量所在的可行域是连续的，比如平面、区间等。如稀疏优化问题的约束集合就是连续的。离散优化问题是指决策变量在离散集合上取值，比如离散点集、整数集等。常见的离散优化问题有整数规划，其对应的决策变量的取值范围是整数集合。

       连续优化问题的解决方法：可以根据邻域内的取值信息来判断该点是否最优。

       离散优化问题的解决方法：往往将其转变为连续优化问题（通过分段等手段）

    无约束和约束优化问题

      另一种重要的分类是是否存在约束。无约束优化指的是优化问题的决策变量没有约束条件限制。相对地，约束优化问题指的是带有约束条件的问题。实际中，这两类优化问题广泛存在。无约束优化问题对应于在欧几里得空间中求解一个函数的最小值点。

      与此同时，许多约束优化问题的求解也是转化为无约束问题，所以在某种程度上，约束优化问题就是无约束优化问题。很多约束优化问题的求解也是转化为一系列无约束问题来做，常见的方式有增广，拉格朗日函数法，罚函数法等。尽管如此，约束优化问题的理论以及算法研究仍然是很重要的。主要原因是，借助于约束函数，我们可以更好地描述可行域的几何性质，进而找到最优解。对于典型的约束和无约束优化模型，我们将会在本书的第三章中介绍，相应的理论以及算法会之后进行教学。

      凸优化和非凸优化问题

      凸优化：最小化问题中的目标函数与可行域分别是凸函数与凸集。特点：凸优化问题的任意局部最优解都是全局最优解。因此，在实际问题中，我们尝尝更加倾向于得到一个凸优化问题模型。

      全局和局部最优解

      优化算法 

      若一个优化问题可用代数表达式给出其最优解，那么此解为显式解。实际问题往往无法显示求解的，因此常使用迭代算法。

      迭代算法思想：从一个初始点x0，以一个特定的规律进行迭代，得到一个序列{xk},若迭代在有限步内终止，那么希望该序列的最后一点为解；若迭代点列是无穷集合，那么希望该序列的极限点为解。