第一章 最优化理论基础

内容来自马昌凤编著的《最优化方法及其Matlab程序设计》，文章仅为个人的学习笔记，感兴趣的朋友详见原书

1 最优化问题的数学模型

简单来说，最优化问题就是求一个多元函数在某个给定集合上的极值，其一般表达为：
$minf(x)$
$s.t.x\in K$
其中，$K$为可行域，$x$为决策变量，s.t.是subject to（受限于）的缩写。

非线性规划：
$minf(x)$
$s.t.h_i(x)=0,i=1,...,l$
$g_i(x)>=0,i=1,...,m$
其中，$f(x)$、$h_i(x)$、$g_i(x)$都是定义在$R^n$上连续可微的多元实值函数，并且至少有一个是非线性的。

记$E=i|h_i(x)=0$ $I=i|g_i(x)>=0$
若两指标集的并集为∅，则称之为无约束优化问题；否则为有约束优化问题。特别的，把$E$≠∅且$I$=∅的优化问题称为等式优化问题；而把$I$≠∅且$E$=∅的优化问题称为不等式优化问题。$f(x)$称为目标函数，$h_i(x)$，$g_j(x)$称为约束函数。

二次规划：目标函数为二次函数，而约束函数都为线性函数的优化问题。（而目标函数和约束函数都为线性函数的优化问题称为线性规划）

2 函数的可微性与展开

梯度与Hess矩阵：

泰勒展开：

3 凸集与凸函数

凸集的定义&性质

凸函数的定义与判断

4 无约束问题的最优性条件

全局极小点——最值
局部极小点——极值

一阶必要条件：设$f(x)$在开集$D$上一阶连续可微，若$x^{\ast }\in D$是一个局部极小点，则必有$g(x^{\ast })=0$。

二阶必要条件：设$f(x)$在开集$D$上二阶连续可微，若$x^{\ast }\in D$是一个局部极小点，则必有$g(x^{\ast })=0$且$G(x^{\ast })$是半正定矩阵。

二阶充分条件：设$f(x)$在开集$D$上二阶连续可微。若$x^{\ast }\in D$满足条件$g(x^{\ast })=0$及$G(x^{\ast })$是正定矩阵，则$x^{\ast }$是一个局部极小点。

设$f(x)$在$R^n$上是凸函数，并且是一阶连续可微的，则$x^{\ast }\in$ $R^n$是全局极小点的充要条件是$g(x^{\ast })=0$

5 无约束优化问题的算法框架

无约束问题的一般算法框架

局部收敛与&全局收敛

• 局部收敛：只有当初始点$x_0$充分接近极小点$x^{\ast }$时，由算法产生的点列$x_k$才收敛于$x^{\ast }$,则称该算法具有局部收敛性。
• 全局收敛性：若对任意的初始点$x_0$，由算法产生的点列$x_k$都收敛于$x^{\ast }$,则称该算法具有全局收敛性。