如何系统学习人工智能

人工智能入行三个要点：英语、理论、工程。

• 英语很重要

经典教材全部为英语

1)翻译总是不通顺，不如原著容易理解

2)Lost in translation

最重要的科研成果全部英文

1)翻译永远赶不上新知识产生的速度

2)有能力创新的AI人才也都会用英语发表自己的成果

社区都是英语环境

1)Github

2)Stackoverflow

人工智能领军企业的工作环境里不开英文

• 理论

线性代数(推荐 The Matrix Cookbook)

1）理解非线性系统的主要方式依然是通过局部线性化

2）Machine Learning 算法涉及大量的矩阵运算

概率论（初级线性代数和入门概率论应该足够了）

1）统计机器学习基础是概率论

2）理解复杂非线性系统的统计特性对于分析Deep Learning算法至关重要

计算机算法（推荐：The Art of Computer Programming）

1）AI不仅仅只有Deep Learning

    大规模数据的预处理，抽取，etc.

    在线服务

    嵌入式系统，资源带宽受限

2）算法优化

     训练3天完成vs10天完成vs30天完成直接影响科研或产品投放

     GPU是否跑满，IO是否是瓶颈

     E.g., approximate softmax

3）数值计算概念

     收敛性，收敛速度

机器学习理论（经典Bible：Pattern Recognition and Machine Learning）

1）虽然Deep Learning一统江湖，但是经典机器学习理论还是要知道个大概。

    Linear regression/classification(SVM, Lasso, Kernel, etc)

    Clustering(K-means, etc)

    Dimensionality reduction(PCA, etc)

    Probabilitic modeling(Mixture model, EM)

    AdaBoost,etc

2）经典机器学习得到的insight在Deep Learning里一再出现

     Restricted Boltzman Machine

     Denoising NN

机器学习理论可深可浅

1）实用不需要太深的理论功底

2）理论功底在科研中不可缺少

     Intuition比理论推导重要，但是好的Intuition来源于扎实的理论功底。

• 工程

动手很重要

1）DNN的理论框架基本确定（除非量子计算机量产，否则短期变化不大）

2）TensorFlow问世，从此不用再求导数

3）模型design需要大量的实验验证

4）Google作为大公司，坚持一切核心系统全部自主研发，拥有完善的code Review 系统。