基本算法总结正面.jpeg图的左半部分列出了常用的机器学习算法与它们之间的演化关系，分为有监督学习，无监督学习，强化学习3大类。右半部分列出了典型算法的总结比较，包括算法的核心点如类型，预测函数，求解的目标函数，求解算法。理解和记忆这张图，对你系统化的掌握机器学习与深度学习会非常有帮助！基本公式反面.jpeg

回归算法线性回归算法：支持向量机&向前逐步回归&惩罚线性回归（岭回归/套索回归/ElasticNet/最小角度回归LARS/Glmnet）非线性回归算法二元决策树：分割点评价标准是基尼不纯性度量和信息增益自举集成（Bagging）：从训练数据集获得一系列的自举样本，对每一个自举样本训练一个基学习器，将基学习器的均值作为结果。梯度提升算法：与Bagging和随机森林的不同之处在于它在减少方差的同时，

文章目录1、前言1.1机器学习算法的两步骤1.2机器学习算法分类2、逻辑回归算法2.1逻辑函数2.2逻辑回归可以用于多类分类2.3逻辑回归中的系数3、线性回归算法3.1线性回归的假设3.2确定线性回归模型的拟合优度3.3线性回归中的异常值处理4、支持向量机（SVM）算法4.1优点4.2缺点小结博客主页：小智_x0___0x_欢迎关注：点赞收藏✍️留言系列专栏：小智带你闲聊代码仓库：小智的代码仓库1

一.引言前面我们进行了CAM、GRAD-CAM算法的介绍，本文我们继续介绍一种算法:Lime（LocalInterpretableModel-AgnosticExplanations）二.算法介绍Lime算法是基于局部代理模型来对单个样本进行解释。假设对于需要解释的黑盒模型，取关注的实例样本，在其附近进行扰动生成新的样本点，并得到黑盒模型的预测值，基于新的数据集训练可解释的模型来得到对黑盒模型良好

朴素贝叶斯：有以下几个地方需要注意：只能做分类1.如果给出的特征向量长度可能不同，这是需要归一化为通长度的向量（这里以文本分类为例），比如说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。2.计算公式如下：其中一项条件概率可以通过朴素贝叶斯条件独立展开。要注意一点就是的计算方法，而由朴素贝叶斯的前提假设可知，=，因此一般有两种，一种是在类别为ci的那些样本集中，找到wj出现次

机器学习两个核心任务：任务一：如何优化训练数据—>主要用于解决欠拟合问题任务二：如何提升泛化性能—>主要用于解决过拟合问题KNN定义：给定一个训练集，对新输入的未知样本，通过计算与每个训练样本的距离，找到与该实例最邻近的K个实例，这K个实例大多属于某个类，该样本就属于某个类应用场景：分类/回归问题算法流程：计算已知类别数据集中的点与当前点之间的距离按照距离值进行排序选取最小的k个距离，并统计这k个

机器学习(MachineLearning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。严格的定义：机器学习是一门研究机器获取新知识和新技能，并识别现有知识的学问。这里所说的“机器”，指的就是计算机，电子计算机，中子计算机、光子计算机或神经计算

前言之前二哥连载了各类常用的机器学习算法的原理与具体推倒过程，本文我们对常用的十大机器学习算法进行总结。记得收藏+点赞+评论呦！目录前言一、线性回归二、K近邻算法（KNN）三、朴素贝叶斯（NB）四、逻辑回归（LR）五、支持向量机（SVM）六、决策树（DT）七、随机森林（RF）八、GBDT九、XGBoost十、K-Means一、线性回归思路：线性回归假设目标值与特征之间线性相关，即满足一个多元一次方

目录1.XGBoost2.CART树2.1优缺点2.2分裂依据2.2.1分类2.2.2回归2.3总结2.4参考3.算法原理3.1定义树的复杂度3.2打分函数计算示例3.3分裂结点3.3.1贪心法3.3.2近似算法3.3.3分布式加权直方图算法（WeightedQuantileSketch）4.损失函数（指定grad、hess）4.1参考5.缺失值6.其他优化6.1正则化6.2计算速度提升6.2.1

极大似然估计是利用已知的样本结果，去反推最有可能（最大概率）导致这样结果的参数值，也就是在给定的观测变量下去估计参数值。然而现实中可能存在这样的问题，除了观测变量之外，还存在着未知的隐变量，因为变量未知，因此无法直接通过最大似然估计直接求参数值。EM算法是一种迭代算法，用于含有隐变量的概率模型的极大似然估计，或者说是极大后验概率估计。1、经典的三硬币模型引入一个例子来说明隐变量存在的问题。假设有3

机器学习算法总结一、Bagging之决策树、随机森林原理与案例二、boosting之GBDT、XGBT原理推导与案例三、SVM原理推导与案例四、逻辑回归与反欺诈检测案例五、聚类之K-means一、Bagging

机器学习算法总结一、Bagging之决策树、随机森林原理与案例二、boosting之GBDT、XGBT原理推导与案例三、SVM原理推导与案例四、逻辑回归与反欺诈检测案例五、聚类之K-means三、SVM1

机器学习算法总结一、Bagging之决策树、随机森林原理与案例二、boosting之GBDT、XGBT原理推导与案例三、SVM原理推导与案例四、逻辑回归与反欺诈检测案例五、聚类之K-means四、逻辑回归

这次需要总结的是朴素贝叶斯算法，参考文章：《统计学习方法》机器学习常见算法个人总结（面试用）朴素贝叶斯理论推导与三种常见模型朴素贝叶斯的三个常用模型：高斯、多项式、伯努利简介朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。贝叶斯定理是基于条件概率来计算的，条件概率是在已知事件B发生的前提下，求解事件A发生的概率，即P(A|B)=P(AB)P(B)，而贝叶斯定理则可以通过P(A|B)来求解P

转自：https://blog.csdn.net/weixin_40411446/article/details/81836322~~~~~·个人整理，如需转载，请说明并备注，不甚感激~~~~~~（这篇文章我很早发布在简书上，不用简书好多年了，哈哈哈，居然上了热搜，特复制在CSDN上供大家参考，为秋招攒点人品）suxuer简书原文地址BAT机器学习面试系列1.请简要介绍下SVM。SVM，全称是su

~~~~~·个人整理，如需转载，请说明并备注，不甚感激~~~~~~（这篇文章我很早发布在简书上，不用简书好多年了，哈哈哈，居然上了热搜，特复制在CSDN上供大家参考，为秋招攒点人品）suxuer简书原文地址BAT机器学习面试系列1.请简要介绍下SVM。SVM，全称是supportvectormachine，中文名叫支持向量机。SVM是一个面向数据的分类算法，它的目标是为确定一个分类超平面，从而将不

目录KNN决策树朴素贝叶斯SVMadaboost梯度下降法KmeansAprioriSVD重要的评估指标（注意F1score）机器学习算法总结过拟合和欠拟合产生的原因：解决欠拟合(高偏差)的方法解决过拟合

20211224【机器学习算法总结】XGBoost_yyy430的博客-CSDN博客_xgboostxgboost参数默认：auto。XGBoost中使用的树构造算法。

关键字：vector,support,machine,核函数，支持向量机由于自然语言分类总结：SVM是一个分类问题，在学习复杂的非线性方程时效果很好，是监督式学习（详见前面的微博：机器学习算法总结）。

写在前面在前面学习的ML算法中，基本都是有监督学习类型，即存在样本标签。然而在机器学习的任务中，还存在另外一种训练样本的标签是未知的，即“无监督学习”。此类任务中研究最多、应用最广泛的是“聚类”（clustering），常见的无监督学习任务还有密度估计、异常检测等。本文将首先介绍聚类基本概念，然后具体地介绍几类细分的聚类算法。参考资料：K-Means聚类算法原理1.聚类简介聚类试图将数据集中的样本

百面机器学习算法总结索引（声明：以下所有内容及其链接内容来自于百面机器学习一书，仅供自己方便学习和复习，不做任何商业用途，所有链接内容继承本声明）第一节：特征归一化1.为什么需要对数值类型的特征做归一化

简介定义：分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶结点。内部结点表示一个特征或属性，叶结点表示一个类。决策树学习通常包括3个步骤：特征选择、决策树的生成和决策树的修剪。决策树学习本质上是从训练数据集中归纳出一组分类规则，也可以说是由训练数据集估计条件概率模型。它使用的损失函数通常是正则化的极大似然函数，其策略是以损失函数为目标函数的最

最近，在kaggle上找到一位大牛写的机器学习算法总结，感觉流程清晰，内容详实，因此翻译并分享下，由于作者不明原因将原文删除了，所以没法放上原文地址，文中主要以代码实践的方式展开各种算法，原理方面参考文中的地址连接

XGBoost(eXtremeGradientBoosting)是于2015年提出的GradientBoosting实现算法，在速度和精度较GBDT有显著提升。XGBoost以类似牛顿法的方式进行优化。任何机器学习问题都可以从目标函数出发，目标函数分为两部分：损失函数+正则化项，其中，损失函数用于描述模型拟合数据的程度，正则化项用于控制模型的复杂度。与GDBT一样，XGBoost采用加法模型，设基

LightGBM是一个梯度(GradientBoosting，GB)框架，可用于分类、回归、排序等机器学习任务。相比于XGBoost，LightGBM在不降低准确率的前提下，速度提升了10倍左右，占用内存下降了3倍左右。直方图算法(HistogramAlgorithm)的基本思想是将连续的特征离散化为k个离散特征，同时构造一个宽度为k的直方图，用于统计信息(含有k个bin)即将连续值映射到对应bi

无监督学习：训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础。聚类是典型无监督学习任务，它试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个簇。距离度量：通过距离来定义相似度度量，距离越大，相似度越小。最常用的距离度量是闵可夫斯基距离，其中，当p=2时，称为欧氏距离；当p=1时，称为曼哈顿距离。详见我的博客：机器学

Bagging是并行式集成学习方法最著名的代表，可以用于分类任务，也可以用于回归任务，被誉为“代表集成学习技术水平的方法”。不同于Boosting方法对训练数据集赋予不同的权重训练基学习器，Bagging采用“重采样法”，将训练数据集进行采样，进而产生若干个不同的子集，再从每个数据子集中训练出一个基学习器，然后使用结合策略得到强学习器。为得到不同的采样集，使用自助采样法进行采样：给定包含m个样本的

线性回归(LinearRegression)：线性回归是回归模型，y=f(x)：表明自变量x和因变量y的关系。1.模型2.策略损失函数(平方损失函数)：注：平方误差代价函数是解决回归问题最常用的代价函数。3.算法最小二乘法：注意：要求X是满秩的！逻辑回归(LogisticRegression)：逻辑回归是统计学习中的经典分类方法，属于对数线性模型。1.模型逻辑回归实际上是处理二类分类问题的模型，输

写在前面在之前一篇机器学习算法总结之Bagging与随机森林中对随机森林的原理进行了介绍。还是老套路，学习完理论知识需要实践来加深印象。

目录1、GBDT2、GBDT思想3、负梯度拟合4、损失函数4.1、分类4.2、回归5、GBDT回归算法6、GBDT分类算法6.1、二分类6.2、多分类7、正则化8、RF与GBDT之间的区别与联系9、优缺点优点缺点10、应用场景11、主要调参的参数12、sklearn.ensemble.GradientBoostingClassifier参数及方法说明参考1、GBDTGBDT(GradientBoo

目录k近邻（KNN）决策树线性回归逻辑斯蒂回归朴素贝叶斯支持向量机（SVM）组合算法（EnsembleMethod）K-Means机器学习算法总结本章为决策树算法，内容包括基本模型介绍，以及包括ID3、

参考自：《机器学习》机器学习&数据挖掘笔记_16（常见面试之机器学习算法思想简单梳理）K-MeansClustering斯坦福大学公开课：机器学习课程简介K-均值是最普及的聚类算法，算法接受一个未标记的数据集，然后将数据集聚类成不同的组。K-均值是一个迭代算法，假设我们想要将数据聚类成n个组，其方法为：首先选择K个随机的点，称其为聚类中心对于数据集中的每一个数据，按照距离K个中心点的距离，将其与距

目录k近邻（KNN）决策树线性回归逻辑斯蒂回归朴素贝叶斯支持向量机（SVM）组合算法（EnsembleMethod）K-Means机器学习算法总结本章为线性回归，内容包括模型介绍及代码实现（包括自主实现和

转：机器学习算法总结(二)——决策树（ID3,C4.5,CART）决策树是既可以作为分类算法，又可以作为回归算法，而且在经常被用作为集成算法中的基学习器。

提升(boosting)方法：在分类问题中，通过改变训练样本的权重(概率分布)即重赋权法，进而通过不同的训练数据学习多个弱分类器(基本分类器)，然后将这些弱分类器线性组合，构成一个强分类器，以提高分类性能。从偏差-方差分解的角度来看，Boosting主要关注降低偏差。1.AdaBoostAdaBoost算法是代表性的提升方法，是二类分类算法。前提条件：概率近似正确(PAC)，即一个概念是强可学习的

1、决策树决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。1.2决策树的学习过程一棵决策树的生成过程主要分为以下3个部分:特征选择：特征选择是指从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准标准，从而衍生出不同的决策树算

1、KNN算法KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。在KNN中，通过计算对象间距离来作为各个对象之间的非相

1、TF-IDF文本相似度分析余弦相似度计算个体间的相似性，即将两个个体的特征向量化，通过余弦公式计算两者之间的相似性。通过计算模型公式可以明确的求出余弦相似度的值。那么对于我们写程序实现这个算法，就是把两个个体转换为向量，然后通过这个公式求出最终解。比如向量a(x1,x2,x3,x4,x5)，向量b(y1,y2,y3,y4,y5)。分子为(x1*y1)+(x2*y2)+(x3*y3)+(x4*y

降维是机器学习中很重要的一种思想。在机器学习中经常会碰到一些高维的数据集，而在高维数据情形下会出现数据样本稀疏，距离计算等困难，这类问题是所有机器学习方法共同面临的严重问题，称之为“维度灾难”。另外在高维特征中容易出现特征之间的线性相关，这也就意味着有的特征是冗余存在的。基于这些问题，降维思想就出现了。降维方法有很多，而且分为线性降维和非线性降维，本篇文章主要讲解线性降维。1、奇异值分解(SVD)

在前四篇里面我们讲到了SVM的线性分类和非线性分类，以及在分类时用到的算法。这些都关注与SVM的分类问题。实际上SVM也可以用于回归模型，本篇就对如何将SVM用于回归模型做一个总结。重点关注SVM分类和SVM回归的相同点与不同点。1.SVM回归模型的损失函数度量回顾下我们前面SVM分类模型中，我们的目标函数是让12||w||22最小，同时让各个训练集中的点尽量远离自己类别一边的的支持向量，即yi(

1.回顾感知机模型在感知机原理小结中，我们讲到了感知机的分类原理，感知机的模型就是尝试找到一条直线，能够把二元数据隔离开。放到三维空间或者更高维的空间，感知机的模型就是尝试找到一个超平面，能够把所有的二元类别隔离开。对于这个分离的超平面，我们定义为wTx+b=0，如下图。在超平面wTx+b=0上方的我们定义为y=1,在超平面wTx+b=0下方的我们定义为y=−1。可以看出满足这个条件的超平面并不止

写在前面学完了朴素贝叶斯的基本原理（机器学习算法总结之朴素贝叶斯法），现在利用sklearn平台的朴素贝叶斯类库来实战一下，加深印象。

写在前面K近邻（K-nearestneighbor，k-nn）是一种常用的机器学习监督学习方法，可用于分类和回归问题。其工作机制为：给定测试样本，基于某种距离度量找出训练集中与其最靠近的K个训练样本，然后基于这K个邻居来预测给定样本。对于分类任务，可使用“投票法”；对于回归任务，可使用“平均法”，即取这K个邻居的平均值最为预测结果，进一步地，还可以对K个邻居距离的远近进行加权处理后预测结果。与其他

新旧10大机器学习算法总结一、原来的10大算法2006年，IEEE的数据挖掘会议选出了10大算法：[见点击打开链接]1、C4.52、k-Means(简单易学的机器学习算法——K-Means算法)3、SupportVectorMachines

参考自《统计学习方法》机器学习常见算法个人总结（面试用）从最大似然到EM算法浅解（EM算法）TheEMAlgorithm简介EM算法，即期望极大算法，用于含有隐变量的概率模型的极大似然估计或极大后验概率估计，它一般分为两步：第一步求期望(E),第二步求极大(M)。如果概率模型的变量都是观测变量，那么给定数据之后就可以直接使用极大似然法或者贝叶斯估计模型参数。但是当模型含有隐含变量的时候就不能简单的

参考如下机器学习（四）—从gbdt到xgboost机器学习常见算法个人总结（面试用）xgboost入门与实战（原理篇）简介GBDT是一个基于迭代累加的决策树算法，它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。算法介绍GBDT是希望组合一组弱的学习器的线性组合，即有：F∗=argminEx,y[L(y,F(x))]F(x;pm,am)=∑m=0Mpmh(x;am)上

参考如下机器学习（四）—从gbdt到xgboost机器学习常见算法个人总结（面试用）xgboost入门与实战（原理篇）简介GBDT是一个基于迭代累加的决策树算法，它通过构造一组弱的学习器（树），并把多颗决策树的结果累加起来作为最终的预测输出。算法介绍GBDT是希望组合一组弱的学习器的线性组合，即有：F∗=argminEx,y[L(y,F(x))]F(x;pm,am)=∑m=0Mpmh(x;am)上

参考自：《统计学习方法》浅谈机器学习基础（上）Ensemblelearning:Bagging,RandomForest,Boosting简介提升方法(boosting)是一种常用的统计学习方法，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提供分类的性能。boosting和baggingboosting和bagging都是集成学习（ensemblelearn

简介SVM是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。或者简单的可以理解为就是在高维空间中寻找一个合理的超平面将数据点分隔开来，其中涉及到非线性数据到高维的映射以达到数据线性可分的目的。训练数据线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机，又称为硬间隔支持向量机；训练数据

简介随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。它是由多棵CART(ClassificationAndRegressionTree)构成的。对于每棵树，其使用的训练集是从总的训练集中有放回采样出来的，这意味着总训练集中有些样本可能多次出现在一棵树的训练集中，也可能从未出现在一棵树的训练集中。在训练每棵树的节点时，使用的特征是从所有特征中按照一定比例随机地无放回的抽取的，假设总的特征数