第二十七课：手搓梯度提升树

Python实现梯度提升树(GBDT)：让决策树"代代进化"的魔法

梯度提升树就像一群小树苗在接力成长，每棵新树都专注于前辈们犯过的错误，最终长成一片预测能力强大的森林。下面我用Python展示这个强大的算法。

准备工具包

from sklearn.ensemble import GradientBoostingRegressor  # 回归问题用
from sklearn.ensemble import GradientBoostingClassifier  # 分类问题用
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error, accuracy_score
import numpy as np
import matplotlib.pyplot as plt

梯度提升树四步曲

1. 创建模拟数据（回归问题示例）

# 生成一个有噪声的波浪形数据集
np.random.seed(42)
X = np.linspace(0, 10, 100).reshape(-1, 1)
y = np.sin(X).ravel() + np.random.normal(0, 0.1, X.shape[0])

# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

plt.scatter(X_train, y_train, label='训练数据')
plt.title("原始数据")
plt.legend()
plt.show()

2. 训练GBDT模型

# 创建梯度提升树回归器
gbr = GradientBoostingRegressor(
    n_estimators=100,  # 100棵小树
    learning_rate=0.1, # 学习率
    max_depth=3,       # 每棵树的最大深度
    min_samples_split=2, 
    random_state=42
)

# 训练模型
gbr.fit(X_train, y_train)

# 预测
y_pred = gbr.predict(X_test)

# 计算均方误差
mse = mean_squared_error(y_test, y_pred)
print(f"测试集均方误差(MSE): {mse:.4f}")

3. 可视化预测效果

# 生成预测线
X_plot = np.linspace(0, 10, 1000).reshape(-1, 1)
y_plot = gbr.predict(X_plot)

plt.scatter(X_train, y_train, label='训练数据')
plt.plot(X_plot, y_plot, color='red', linewidth=2, label='GBDT预测')
plt.title("梯度提升树回归效果")
plt.legend()
plt.show()

4. 查看训练过程（分类问题示例）

# 创建分类数据集
from sklearn.datasets import make_classification
X_clf, y_clf = make_classification(n_samples=1000, n_features=10, n_classes=2, random_state=42)

# 分割数据
X_train_clf, X_test_clf, y_train_clf, y_test_clf = train_test_split(
    X_clf, y_clf, test_size=0.2, random_state=42)

# 训练分类器
gbc = GradientBoostingClassifier(n_estimators=100, random_state=42)
gbc.fit(X_train_clf, y_train_clf)

# 查看训练过程中准确率的变化
test_acc = [accuracy_score(y_test_clf, y_pred) 
            for y_pred in gbc.staged_predict(X_test_clf)]

plt.plot(range(1, 101), test_acc)
plt.xlabel("树的数量")
plt.ylabel("测试集准确率")
plt.title("GBDT分类器学习曲线")
plt.show()

通俗例子：预测水果价格

假设我们有3天的水果销售数据：

天数	天气(1-5)	周末(0/1)	实际价格
1	3	0	10元
2	5	1	15元
3	2	0	8元

GBDT的工作流程：

1. 第一棵树（基础模型）：
   • 简单预测：所有水果均价11元
   • 残差(误差)：[-1, +4, -3]（实际-预测）
2. 第二棵树：
   • 学习目标：预测第一棵树的残差
   • 发现规则：如果是周末 → +3.5元，否则 → -2元
   • 新预测：11 + 3.5 = 14.5(周末), 11 - 2 = 9(非周末)
   • 新残差：[-1, +0.5, -1]
3. 第三棵树：
   • 继续学习剩余残差
   • 发现规则：好天气(>4) → +0.3元
   • 最终预测变得更为精准
4. 最终预测：
   • 综合所有树的预测结果
   • 例如第2天预测值 = 11 + 3.5 + 0.3 = 14.8元（接近实际15元）

核心特点

1. 残差学习：每棵树都试图修正前一棵树的错误，像不断改进的草稿
2. 可调参数：
   • learning_rate：控制每棵树的贡献（小步慢走更稳健）
   • n_estimators：树的数量（太多可能过拟合）
   • max_depth：每棵树的复杂度（通常3-5层足够）
3. 适用广泛：
   • 回归问题（预测房价）
   • 分类问题（判断邮件是否垃圾邮件）
   • 排序问题（搜索结果的排序）

记住：梯度提升树就像一群互相帮助的学生，每个新学生都特别关注班上做错题的同学，最终全班成绩越来越好！