模式识别的应掌握的数学基础（转）

关于模式识别和计算机应用方向, 我认为可以选择的主题(仅是己见)
1. 数学方面
1) 矩阵的各种分解. 比如, LU, QR, Cholesky, SVD, Polar. 
2) 广义逆与子空间
3) 最小二乘法, 特别齐性方程Ax=b的各种解法及其几何意义
4) 凸分析与凸优化的基本知识及其几何意义
5) 常用的几种优化方法. 
其实以上在某种意义下是相通的.
6) 微分几何、黎曼几何的基本概念和知识
7) 李群与李代数的基本知识 
8) 图和谱图的基本知识
以上知识，我认为，是作为一个做算法的研究者都应该了解或是掌握的数学知识
9) 模糊数学（就个人而言，我十分不情愿把这个方法列在这里，因为我认为模糊数学不是

好数学，是玩游戏，做模糊数学有关的东西前途不明朗）
10) 时间序列分析的主要方法和最近新方法.
11) 分形和混沌
12) 常用微分方程的基本类型和解法
2．专业方向
   1）PCA, FA, MDS 
      这3个事最典型的降维方法，也是最古典的。但是他们已经出现很多变种，应用在计

算机的各个领域。拿PCA做例子，比如Local PCA, Sparse PCA, Probabilistic PCA, Non

negative PCA.
   2) ICA ( Independent Component Analysis )
     独立元分析是降维分析中又一经典方法，其有很多种形式。在语音识别，人脸识别等

分类领域中广泛应用。最近又有Nonnegative ICA 出现。特别地李群与李代数（Toral子代

数）的引入为这个经典的方法有注入了新鲜的活力。
   3）NMF ( Nonnegative Matrix Factorization)
      非负矩阵因子是99年发表在Nature上的一片经典论文。它是继PCA and ICA之后的又

一产生广泛影响的降维方法。非负矩阵因子有着明显的几何意义，使其潜力无限，但又非

常难以发掘。
   4）LLE ( Locally Linear Embedding ) and LE ( Laplacian Eigenmaps) 
      局部线性嵌入和拉普拉斯特征映射分别发表在Science (2000) 和 Neural Computa

tion (2003)上，是非线性降维的里程碑。他们在计算机应用领域产生深远影响是大势所趋

。特别LE的线性形式LPP (Locality Preserving Projections) 在人脸识别领域已大显身

手，继Fisherfaces又一著名方法Laplacianfaces就是基于LPP. 另外基于谱聚类的方法也
可以很容易的从LE中导
出，它正是图像分割领域研究的热点。
   这两种方法我自发的报告会中 仔细介绍过。
   5）HMM (Hidden Markov Model)
   6)  Wavelet 
   7)  RBFNN (Radial Base Function Neural Network) and SOM (Self-organizing ma

p)
      径向基神经网络和自组织映射是神经网络中最常用的2种方法。随着几何优化的方法

引入神经网络，这些方法又焕发出新的生机和用途。
   8）SVM （Support Vector Machine）
      支持向量机是数据挖掘中的一朵奇葩，已经广泛应用于各种任务中。随着几何方法

和Clifford 代数的引入，SVM必将更加充满生机。
   9）EM (Expectation Maximum)
      EM算法是参数估计中最经典、最有效、而且最常用的方法。常用于 Bayesian Mode

l or GMM中
   10）Guassian Mixture Model
      GMM是信号处理和模式识别中最经典的方法，也是最广泛应用的方法，比如，语音识

别、人脸识别、目标监测、图像分割
    11）Bayesian Model or Bayesian Network
      贝叶斯模型或是贝叶斯网络的广泛应用就不用多言语了吧。
    其中 9）、10）、11）经常是成三成双的出现
    12）Kernel Methods
       基于核的方法正是现在国际领域中研究的热点，基本上大多数经典方法都已核化，

比如Kernel PCA, Kernel FA, Kernel LDA, Kernel-based MDS, LLE, LE, ……..
囿于本人拙见，难免挂一漏万，所以希望大家补充、讨论、指正。