第三种方法：线性鉴别分析方法（LDA）
姓名：何源 学号：21011210073 学院：通信工程学院
转载：机器学习(30)之线性判别分析(LDA)原理详解
【嵌牛导读】线性鉴别分析方法介绍
【嵌牛鼻子】线性鉴别分析（LDA）
【嵌牛提问】线性鉴别分析方法如何降维以及原理是什么？
【嵌牛正文】
LDA算法思想
LDA是一种监督学习的降维技术，也就是说它的数据集的每个样本是有类别输出的。LDA的思想可以用一句话概括，就是“投影后类内方差最小，类间方差最大”。假设有两类数据，分别为红色和蓝色，如下图1所示，这些数据特征是二维的，希望将这些数据投影到一维的一条直线，让每一种类别数据的投影点尽可能的接近，而红色和蓝色数据中心之间的距离尽可能的大。
从直观上可以看出，右图要比左图的投影效果好，因为右图的黑色数据和蓝色数据各个较为集中，且类别之间的距离明显。左图则在边界处数据混杂。以上就是LDA的主要思想了，当然在实际应用中，数据是多个类别的，我们的原始数据一般也是超过二维的，投影后的也一般不是直线，而是一个低维的超平面。
LDA原理与流程
LDA算法小结
LDA算法既可以用来降维，又可以用来分类，但是目前来说，主要还是用于降维。在进行图像识别相关的数据分析时，LDA是一个有力的工具。下面总结下LDA算法的优缺点。
优点：
（1）在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识；
（2）LDA在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。
缺点：
（1）LDA不适合对非高斯分布样本进行降维，PCA也有这个问题；
（2）LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA。当然目前有一些LDA的进化版算法可以绕过这个问题；
（3）LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好；
（4）LDA可能过度拟合数据。