机器学习-凸函数

https://www.nowcoder.com/discuss/205341

1 凸优化是指X 是闭合的凸集，f 是X  上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。

其中，X 是凸集是指对集合中任意两点，即任意两点的连线段都在集合内，直观上就是集合不会像下面那样有凹下去的部分，至于闭合的凸集，则涉及到闭合的凸集，则涉及到闭集的定义，而闭集的定义又基于开集。闭合的凸集是指包含所以边界点的凸集。

实际建模中判断一个最优化问题是不是凸优化问题一般看一下几点：

目标函数f 如果不是凸函数，则不是凸优化函数

决策变量x 中包含离散变量(0-1 变量或整数变量),则不是凸优化问题

约束条件写成g(x) <=0 时，g 如果不是凸函数，则不是凸优化问题

之所以要区分凸优化问题和非凸的问题的原因在于凸优化问题中局部最优解同时也是全局最优解，

2 人工智能，机器学习和深度学习的区别

机器学习： 一种实现人工智能的方法

使用算法来解析数据，从中学习，然后对真实世界中的事件做出决策和预测，使用大量的数据来训练，通过各种算法从数据中学习如何完成任务。机器学习直接来源于早期的人工智能领域，传统的算法包括决策树，聚类，贝叶斯分类，支持向量机，EM，Adaboost 等，在学习方法上，机器学习算法可以分为监督学习，无监督学习，半监督学习，集成学习，深度学习和强化学习。

2 深度学习：一种实现机器学习的技术

深度学习并不是一种独立的学习方法，其本身也会用到有监督和无监督的学习方法来训练深度神经网络，但由于近几年该领域发展迅猛，一些特有的学习手段相继提出(如残差网络) 。

最初的深度学习是利用深度神经网络来解决表征表达的一种学习过程，深度神经网络本身并不是一个全新的概率，可大致理解为包含多个隐含层的神经网络结构，为了提高深层神经网络的训练效果，人们对神经元的连接方法和激活函数等方面做出了相应的调整，其实有不少想法早年间也曾有过，但是训练数据量不足，计算能力不足，因此最终的效果不尽人意。

 

参考：https://blog.csdn.net/wwf_lightning/article/details/73477215

http://www.sohu.com/a/227603209_163476