机器学习导论（张志华）：基本概念

前言

这个笔记是北大那位老师课程的学习笔记，讲的概念浅显易懂，非常有利于我们掌握基本的概念，从而掌握相关的技术。

正文

Data Mining 是半自动化的
Machine Learning 是自动化的。 Michal Jordon。
ML：A field that bridge computation and statistic，with ties to information theory，signal processing，algorithm，control theory and optimization theory。
简单地讲的话：
ML=Matrix +Optimization+Algorithm+Statistics。
本质来说，就是从数据里面提取信息的过程。
分解信息，然后，优化出结果。

回归分类

1线性回归

y=X T a  y = X T a

2脊回归

min 12 ∗||y−x T a|| 2 +lmada∗a t ∗a  1 2 ∗ | | y − x T a | | 2 + l m a d a ∗ a t ∗ a

3lasso 回归

将a的二范数换成一范数

数据集分类

Training Data
Validation Data
Test Data