【第二章:机器学习与神经网络概述】03.类算法理论与实践-(3)决策树分类器

第二章: 机器学习与神经网络概述

第三部分：类算法理论与实践

第三节：决策树分类器

内容：信息增益、剪枝技术、过拟合与泛化能力。

决策树是一种常用于分类和回归的树状结构模型，它通过一系列特征判断进行决策，有良好的可解释性。

---

一、基本概念

• 节点（Node）：表示特征判断条件

• 边（Branch）：表示特征判断的结果路径

• 叶子节点（Leaf）：表示分类结果

---

二、划分准则：信息增益（Information Gain）

信息增益衡量划分数据后信息的不确定性减少量。常见的指标有：

1. 熵（Entropy）：

衡量系统的不确定性，定义如下：

其中 是样本属于第 i 类的概率。

2. 信息增益（ID3算法）：

即在特征 A 上划分后的加权平均熵减少量。

3. 信息增益率（C4.5算法）：

防止倾向于取值多的特征，使用：

4. 基尼系数（Gini Index, CART算法）：

---

三、剪枝技术（Pruning）

决策树容易过拟合，为此引入剪枝：

• 预剪枝（Pre-Pruning）：在构建树过程中提前停止划分，如：

  • 最小样本数限制

  • 最大树深限制

  • 最小信息增益阈值等

• 后剪枝（Post-Pruning）：构建完整树后，自底向上移除对泛化无提升的子树，常结合验证集评估

---

四、过拟合与泛化能力

• 过拟合（Overfitting）：树过于复杂，记住训练集细节，泛化能力差

• 泛化能力（Generalization）：模型对未知样本的预测能力

提升泛化能力的方法：

• 限制树深

• 设置最小分裂样本数

• 使用集成学习方法（如随机森林）

---

五、Python 示例（使用 sklearn）

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 加载数据
X, y = load_iris(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3)

# 创建并训练模型
clf = DecisionTreeClassifier(criterion="entropy", max_depth=3)
clf.fit(X_train, y_train)

# 预测与评估
y_pred = clf.predict(X_test)
print(f"准确率: {accuracy_score(y_test, y_pred):.2f}")

---

六、决策树的优缺点

优点	说明
可解释性强	输出为结构化树，易于理解
处理数值与类别数据	灵活适应各种数据类型
不需要归一化	不受特征缩放影响

缺点	说明
易过拟合	尤其是在树太深时
对噪声敏感	小的扰动可能导致结构变化
不稳定	样本微小变化可影响结构（可用集成方法解决）

---

七、可视化与拓展建议

• 可视化决策树结构（plot_tree）

• 重要特征排序（feature_importances_）

• 拓展到 回归树、集成模型（如随机森林、GBDT）