Python实现直方图梯度提升回归模型(HistGradientBoostingRegressor算法)并基于网格搜索进行优化同时绘制PDP依赖图项目实战

说明：这是一个机器学习实战项目（附带数据+代码+文档+视频讲解），如需数据+代码+文档+视频讲解可以直接到文章最后获取。

1.项目背景

基于直方图的梯度提升回归树，提高了回归模型的抗噪声以及局部扰动的能力。

本项目通过直方图梯度回归模型来进行建模，并通过网格搜索算法进行模型的调优，使模型达到最优的效果，最后绘制特征的PDP依赖图。

2.数据获取

本次建模数据来源于网络(本项目撰写人整理而成)，数据项统计如下：

 数据详情如下(部分展示)：

3.数据预处理

3.1 用Pandas工具查看数据

使用Pandas工具的head()方法查看前五行数据：

关键代码：

 

3.2数据缺失查看

使用Pandas工具的info()方法查看数据信息：

 

从上图可以看到，总共有9个变量，数据中无缺失值，共1000条数据。

关键代码：

 

3.3数据描述性统计

通过Pandas工具的describe()方法来查看数据的平均值、标准差、最小值、分位数、最大值。

 关键代码如下：

 

4.探索性数据分析

4.1 y变量折线图

用Matplotlib工具的plot()方法绘制折线图：

4.2 y变量分布直方图

用Matplotlib工具的hist()方法绘制直方图：

 从上图可以看出，y主要分布在-200~200之间。

4.3 相关性分析

从上图中可以看到，数值越大相关性越强，正值是正相关、负值是负相关。

5.特征工程

5.1 建立特征数据和标签数据

关键代码如下：

 

5.2 数据集拆分

通过train_test_split()方法按照80%训练集、20%测试集进行划分，关键代码如下：

6.构建直方图梯度提升回归模型

主要使用HistGradientBoostingRegressor算法和网格搜索优化算法，用于目标回归。

6.1默认参数构建模型

6.2 通过网格搜索寻找最优参数值

关键代码：

 最优参数：

6.3 最优参数值构建模型

7.模型评估

7.1评估指标及结果

评估指标主要包括可解释方差值、平均绝对误差、均方误差、R方值等等。

从上表可以看出，R方为0.9331 较默认参数优有一点的提升；可解释方差值为0.9338 较默认参数优有一点的提升，优化后的回归模型效果良好。

关键代码如下：

 7.2 真实值与预测值对比图

从上图可以看出真实值和预测值波动基本一致，模型拟合效果良好。

7.3 部分依赖图(PDP)绘制

如今机器学习算法在各个领域被广泛应用，对于一些领域的科研来说，机器学习提供了更精确估计的可能，但是其弱解释性却成为了更深入研究的阻力。可解释机器学习就是在机器学习模型的基础上通过一系列方法使得模型结果具备可解释的特性，部分依赖图（Partial Dependence Plot）显示了一个或两个特征对机器学习模型的预测结果的边际效应，由于很多机器学习算法非参数的特性使得部份依赖图可以揭示线性以及非线性特征，容易理解并且有较高的解释力。

部分依赖图简易并且直观，在科学研究中被经常使用，但同时它也具有一些问题：

1.自变量间可能存在复杂的交互关系导致最终的结果，所以单看一个变量的pdp图可能是不全面的，然而由于人们对图形理解力的局限性，pdp图最多只支持双变量的交互而无法进行更高维的交互，当然这个缺陷的主要来源是人们的主观理解能力有限。

2.一些pdp图不显示特征分布，这可能会产生误导，因为可能会过度解释几乎没有数据的区域。

3.pdp假设其计算部分依赖的特征与其他特征不相关（在不进行交互的情况下），这可能会导致结果的误差，一个解决办法是使用条件而不是边际分布的累积局部效应图。

4.由于pdp绘制的是平均响应，个体间的异质性可能无法被观察到，即有可能个体间的变化差异明显，这可以通过个体条件期望（Individual Conditional Expectation，ICE）曲线观察到。

5.取决于算法的精度以及难以避免的过拟合，pdp图可能存在许多较小的波动或变化趋势，而一般进行解释性研究时更加关注的是整体的变化趋势而不是局部变化。

PDP部分依赖图：

 从上图可以看到，x1 x4 x5 x6 x7 x8和y呈线性关系。

带ICE置信区间的PDP图：

8.结论与展望

综上所述，本文采用了直方图梯度提升回归算法来构建回归模型，通过网格搜索算法找到最优的参数值，最终证明了我们提出的模型效果很好，可用于实际生产中进行预测，使企业发展得更好，利润更多。

本次机器学习项目实战所需的资料，项目资源如下：

项目说明：
链接：https://pan.baidu.com/s/1dW3S1a6KGdUHK90W-lmA4w 
提取码：bcbp