概率预测之NGBoost(Natural Gradient Boosting)回归和分位数(Quantile Regression)回归

概率预测之NGBoost(Natural Gradient Boosting)回归和线性分位数回归

  • NGBoost
    • NGBoost超参数解释
    • NGBoost.fit
    • score(X, Y)
    • staged_predict(X)
    • feature_importances_
    • pred_dist 方法来获取概率分布对象
  • 分位数回归(Quantile Regression)
    • smf.quantreg 对多变量数据进行分位数回归分析
    • 概率预测指标
  • 参考

概率预测是一种预测方法,它不仅提供一个具体的预测值(如点预测),还提供预测值的概率分布或置信区间。这种方法能够更好地捕捉预测的不确定性,适用于需要了解预测结果可靠性的场景。

NGBoost

NGBoost(Natural Gradient Boosting)是一个用于提升树的分位数回归和概率预测的强大库。它通过自然梯度提升方法来优化分位数损失函数,从而能够提供更准确的概率预测和分位数回归。

NGBoost超参数解释

  1. n_estimators
    含义:提升树的数量。
    作用:控制模型的复杂度和拟合能力。增加树的数量可以提高模型性能,但也可能导致过拟合。
    默认值:通常为50或100。
  2. learning_rate
    含义:学习率,用于缩放每棵树的贡献。
    作用:降低每棵树的影响以防止过拟合,同时通过更多的树逐步逼近目标。
    默认值:0.1。
  3. minibatch_frac
    含义:每次迭代时使用的样本比例(类似于随机梯度下降中的批量大小)。
    作用:减少计算量并引入随机性,有助于防止过拟合。
    默认值:1.0(使用所有

你可能感兴趣的:(boosting,回归,kotlin)