机器学习算法实战系列：决策树与随机森林全攻略

机器学习算法实战系列：决策树与随机森林全攻略

引言

“想知道Kaggle竞赛冠军团队的秘密武器吗？决策树和随机森林算法在80%的数据科学项目中都会用到！”

决策树和随机森林是机器学习中最强大、最实用的算法之一。它们不仅直观易懂，而且在处理结构化数据时往往能取得惊人的效果。本文将带你从决策树的数学原理出发，逐步深入到随机森林的工业级应用，最后通过多个实战案例巩固所学知识。准备好迎接这场机器学习的视觉盛宴了吗？

第一部分：决策树算法深度解析

1.1 决策树基本原理

决策树是一种模仿人类决策过程的算法，通过一系列的判断规则对数据进行分类或回归。它由三种基本元素组成：

1. 根节点：包含整个数据集的起始节点
2. 内部节点：表示特征测试条件
3. 叶节点：表示决策结果

决策树的主要优势：

• 可视化强，易于解释
• 不需要特征缩放
• 能处理数值和类别特征
• 可以自动特征选择

1.2 关键概念：信息增益与基尼不纯度

信息增益(Information Gain)

信息增益基于信息熵的概念，用于选择最佳分裂特征：

Entropy(D) = -Σ pᵢ log₂pᵢ
IG(D, A) = Entropy(D) - Σ (|Dᵥ|/|D|) * Entropy(Dᵥ)

其中：

• D是当前数据集
• A是待评估特征
• Dᵥ是特征A取值为v的子集

基尼不纯度(Gini Impurity)

基尼不纯度是另一种常用的分裂标准：

Gini(D) = 1 - Σ pᵢ²

基尼不纯度计算更简单，在实际应用中与信息增益效果相当。

1.3 决策树构建算法

ID3算法

• 使用信息增益作为分裂标准
• 只能处理分类问题
• 倾向于选择取值多的特征

C4.5算法

• 使用信息增益比改进ID3
• 可以处理连续值特征
• 加入了剪枝策略

CART算法

• 既可以分类也可以回归
• 分类树使用基尼指数
• 回归树使用平方误差

1.4 Python实现决策树分类器

下面我们不用sklearn，仅用NumPy实现一个基础决策树：

import numpy as np

class DecisionTreeClassifier:
    def __init__(self, max_depth=None, min_samples_split=2):
        self.max_depth = max_depth
        self.min_samples_split = min_samples_split
        self.tree = {
   }
    
    def _gini(self, y):
        classes = np.unique(y)
        gini = 1.0
        for c in classes:
            p = np.sum(y == c) / len(y)
            gini -= p**2
        return gini
    
    def _best_split(self, X, y):
        best_feature, best_value = None, None
        best_gini = float('inf')
        n_features = X.shape[1]
        
        for feature in range(n_features):
            unique_values = np.unique(X[:, feature])
            for value in unique_values:
                left_indices = X[:, feature] <= value
                right_indices = X[:, feature] > value
                
                if len(y[left_indices]) == 0 or len(y[right_indices]) == 0:
                    continue
                    
                gini_left = self._gini(y[left_indices])
                gini_right = self._gini(y[right_indices])
                weighted_gini = (len(y[left_indices]) * gini_left + 
                                len(y[right_indices]) * gini_right) / len(y)
                
                if weighted_gini < best_gini:
                    best_gini = weighted_gini
                    best_feature = feature
                    best_value = value
                    
        return best_feature, best_value
    
    def _build_tree(self, X, y, depth=0):
        n_samples, n_features = X.shape
        n_classes = len(np.unique(y))
        
        # 停止条件
        if (self.m