机器学习笔记二-回归

回归是统计学和机器学习中的一种基本方法，用于建模变量之间的关系，特别是用一个或多个自变量（输入变量）来预测一个因变量（输出变量）的值。回归分析广泛应用于预测、趋势分析和关联研究中。根据目标和数据的性质，可以使用不同类型的回归方法。

1. 回归的基本概念：

• 自变量（Independent Variable）: 也称为预测变量、解释变量，是模型中的输入变量，用于预测或解释因变量的变化。
• 因变量（Dependent Variable）: 也称为响应变量，是模型中的输出变量，是自变量的函数，并且我们试图对其进行预测或解释。
• 回归系数（Regression Coefficients）: 表示自变量对因变量的影响程度。在简单线性回归中，回归系数就是斜率。

2. 常见的回归类型：

2.1 线性回归（Linear Regression）:

• 简单线性回归: 只有一个自变量和一个因变量，回归方程为 $y={\beta }_0+{\beta }_{1}x+ϵ$，其中 ${\beta }_0$ 是截距，${\beta }_1$ 是斜率，$ϵ$ 是误差项。

  from sklearn.linear_model import LinearRegression
  
  model = LinearRegression()
  model.fit(X_train, y_train)
  y_pred = model.predict(X_test)
  

• 多元线性回归: 包含多个自变量，回归方程为 $y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n+ϵ$。

  model = LinearRegression()
  model