文章目录算法介绍实验分析算法介绍低维嵌入（Low-DimensionalEmbedding）是一种降低高维数据维度的技术，目的是在保留数据特征的同时减少数据的复杂性。这种技术常用于可视化、特征学习、以及数据压缩等领域。低维嵌入的目标是将高维数据映射到一个低维空间，以便更好地理解和可视化数据。在kkk近邻学习中，随着数据维度的增加，样本之间的距离变得更加稀疏，导致KNN算法性能下降。这是因为在高维空

文章目录算法介绍实验分析算法介绍核化线性降维是一种使用核方法（KernelMethods）来进行降维的技术。在传统的线性降维方法中，例如主成分分析（PCA）和线性判别分析（LDA），数据被映射到一个低维线性子空间中。而核化线性降维则通过使用核技巧，将数据映射到一个非线性的低维空间中。核技巧的核心思想是通过一个非线性映射将原始数据转换到一个高维的特征空间，然后在该特征空间中应用线性降维方法。这种映射

文章目录算法介绍实验分析算法介绍K最近邻（K-NearestNeighbors，KNN）是一种常用的监督学习算法，用于分类和回归任务。该算法基于一个简单的思想：如果一个样本在特征空间中的kkk个最近邻居中的大多数属于某个类别，那么该样本很可能属于这个类别。KNN算法不涉及模型的训练阶段，而是在预测时进行计算。以下是KNN算法的基本步骤：选择K值：首先，确定用于决策的邻居数量K。K的选择会影响算法的

文章目录算法介绍实验分析算法介绍主成分分析（PrincipalComponentAnalysis，PCA）是一种常用的降维技术，用于在高维数据中发现最重要的特征或主成分。PCA的目标是通过线性变换将原始数据转换成一组新的特征，这些新特征被称为主成分，它们是原始特征的线性组合。对于一个正交属性空间（各个属性之间是线性无关的）中的样本点，存在以下两个性质的超平面可对所有样本点进行恰当的表达：最近重构性

文章目录算法介绍实验分析算法介绍层次聚类是一种将数据集划分为层次结构的聚类方法。它主要有两种策略：自底向上和自顶向下。其中AGNES算法是一种自底向上聚类算法，用于将数据集划分为层次结构的聚类。算法的基本思想是从每个数据点开始，逐步合并最相似的簇，直到形成一个包含所有数据点的大簇。这个过程被反复执行，构建出一个层次化的聚类结构。这其中的关键就是如何计算聚类簇之间的距离。但实际上，每个簇都是一个集合

文章目录算法介绍实验分析算法介绍密度聚类是一种无监督学习的聚类方法，其目标是根据数据点的密度分布将它们分组成不同的簇。与传统的基于距离的聚类方法（如K均值）不同，密度聚类方法不需要预先指定簇的数量，而是通过发现数据点周围的密度高度来确定簇的形状和大小。我们基于DBSCAN算法来实现密度聚类。DBSCAN是基于一组邻域参数(ϵ,MinPts)(\epsilon,MinPts)(ϵ,MinPts)来刻

线性模型的基本形式给定由个属性描述的实例,其中是在第个属性上的取值，线性模型（linearmodel）试图学得一个通过属性的线性组合来进行预测的函数，即一般用向量形式写成：和确定后，模型就得以确定参数查阅表把数据集表示为一个m*（d+1）大小的矩阵，其中每行对应于一个实例，每行前d个元素对应于实例的d个属性值，最后一个元素恒置于1，即（一）均方误差（meansquarederror）基于欧几里得距

文章目录k均值算法算法介绍实验分析学习向量量化（LVQ）算法介绍实验分析高斯混合聚类算法介绍实验分析总结k均值算法算法介绍给定样本集D={x1,x2,...,xm}D=\{x_1,x_2,...,x_m\}D={x1,x2,...,xm}，k均值算法针对聚类算法所得簇划分C={C1,C2,...,Ck}\mathcal{C}=\{C_1,C_2,...,C_k\}C={C1,C2,...,Ck}最

文章目录引言AdaBoost算法AdaBoost算法正确性说明AdaBoost算法如何解决权重更新问题？AdaBoost算法如何解决调整下一轮基学习器样本分布问题？AdaBoost算法总结实验分析引言Boosting是一种集成学习方法，旨在通过整合多个弱学习器来构建一个强学习器。其核心思想是迭代训练模型，关注之前被错误分类的样本，逐步提升整体性能。Boosting的代表算法包括AdaBoost、G

第一章绪论让我们的机器学习之旅从挑选一个好瓜开始。只绪论介绍基本术语、机器学习的发展，我只记录一些特殊的术语。1.1机器学习的定义计算机通过学习经验数据得到模型，面对新情况时做出有效判断。还有一种解释：假设：P：计算机程序在某任务类T上的性能。T：计算机程序希望实现的任务类。E：表示经验，即历史的数据集。若该计算机程序通过利用经验E在任务T上获得了性能P的改善，则称该程序对E进行了学习。1.2机器

最近开始机器学习经典教材-西瓜书的学习，为了方便以后查看，在此记录下来。什么是机器学习通过计算的手段，利用经验来改善系统性能。机器学习所研究的内容，是如何在计算机上从数据中产生模型的算法，即“学习算法”。机器学习任务划分根据训练样本是否有标签，可分为：监督学习分类：预测离散值，如二分类任务回归：预测连续值无监督学习聚类：训练样本没有标记信息，通过了解数据内在规律自动分类，常用于数据分析学习效果的评

西瓜书1绪论1.1引言1.2基本术语1.3假设空间1.4归纳偏好2模型评估与选择2.1经验误差与过拟合1绪论1.1引言机器学习致力于研究“如何通过计算的方式，利用数据(经验)来改善系统自身的性能”。机器学习形式化的定义：假设用PPP来评估计算机程序在某任务类上的性能，若一个程序通过利用经验EEE在TTT中任务上获得了性能改善，则我们就说关于TTT和PPP，该程序对EEE进行了学习1.2基本术语数据

chapter7贝叶斯分类器7.1贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法，对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于概率和误判损失来选择最优的类别标记，以多分类为例解释原理：假设分类问题有N种可能的类别，λij是将真实标记为j的样本误分类为i所产生的损失，基于==后验概率P（ci丨x）==可获得将样本x分类为ci所产生的期望损失，即在样本x上的“条件

模型评估与选择一、经验误差与过拟合错误率：分类错误的样本数占样本总数的比例。在m个样本中共有a个样本分类错误，则错误率E=a/m。精度：1-a/m误差：学习器实际预测输入与样本的真实输出之间的差异定义为误差。在训练集中的误差被称为训练误差，在新样本上的误差被称为泛化误差。过拟合：当学习器把训练样本学的“太好了”的时候，很可能会把训练样本的特性当作所有潜在样本所拥有的共性，从而模型的泛化性能下降，这

一、基本术语①示例/样本：对一个事件或对象的描述，也被称为一个特征向量。②属性：反映事件或者对象在某方面的表现或性质的事项。③属性值：属性的取值④属性空间/样本空间：属性张成的空间⑤数据集：样本的集合⑥维数：令D={x1,x2…xm}表示包含m个示例的数据集，每个示例由d个属性描述，则每个示例xi=（xi1,xi2,xi3…xid）是d维样本空间X上的一个向量。d称为样本空间的“维数”⑦训练/学习

基本术语数据集(dataset):所有数据的集合样本(sample):描述某个事件或对象的记录属性(attribute):事件或对象的某个性质属性值(attributevalue):性质的取值属性空间(attributespace):性质所有取值的集合特征向量(featurevector):由多个性质组成的一条记录训练数据(trainingdata):训练过程中使用的数据训练样本(training

目录第1章绪论1.3假设空间1.4归纳偏好参考文献本文仅针对个人不熟知识点进行整理，已知内容或过于简单的就不整理了。第1章绪论1.3假设空间假设空间：所有假设组成的空间版本空间：现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的假设集合，我们称之为版本空间(versionspace)。也就是说这多个假设的集合就是假

2.1经验误差与过拟合m个样本中有a个样本分类错误错误率（errorrate）：E=a/m精度（accuracy）=1-错误率=1-E=1-a/m误差（误差期望）：学习器的预测输出与样本的真实输出的差异；训练误差（trainingerror）或经验误差（empiricalerror）:学习器在训练集上的误差；泛化误差（generalizationerror）:学习器在新样本上的误差。泛化性能过拟合

文章目录1知识脉络2内容补充9.1节聚类任务9.2节性能度量9.3节距离计算9.4节原型聚类9.4.1k均值算法9.4.2学习向量量化9.4.3高斯混合聚类9.5节密度聚类9.6节层次聚类9.7节阅读材料3课后题4代码实现5参考1知识脉络2内容补充9.1节聚类任务9.2节性能度量9.3节距离计算9.4节原型聚类9.4.1k均值算法9.4.2学习向量量化9.4.3高斯混合聚类9.5节密度聚类9.6节

第二章模型评估与选择2.1经验误差与过拟合错误率(errorrate)：分类错误的样本数占样本总数的比例m个样本中有a个样本分类错误，则错误率E=a/m1-a/m称为精度(accuracy)，即精度=1-错误率，精度常写为百分比形式误差(error)：学习器的实际预测输出与样本的真实输出之间的差异学习器在训练集上的误差称为“训练误差”(trainingerror)/“经验误差”(empirical

本博客是用来记录个人认为的重要的知识点，但因为知识点繁多而复杂，因此大多数情况下知识在这里列一个提纲，或者在这里写自己的理解第一章绪论（此部分来自南瓜书）一些概念“算法”产出的结果称为“模型”，通常是具体的函数或者可抽象地看作为函数样本：也称为“示例”，是关于一个事件或对象的描述，一般是把事物或对象抽象为某种数学形式，常见于抽象成线性代数中的向量（因为任何事物都可以由若干“特征”——或称为“属性”

机器学习——线性模型西瓜书学习笔记广义线性模型对数几率回归多分类学习西瓜书学习笔记广义线性模型广义线性模型通过单调可微函数(联系函数linkfunction)将数据的真实标记y与线性回归模型的预测值联系起来

16.强化学习16.强化学习16.1任务与奖赏16.2K摇摆赌博机16.2.1ε-贪心16.2.2Softmax16.3有模型学习16.3.1策略评估16.3.2策略改进16.3.3策略迭代与值迭代16.4免模型学习蒙特卡罗强化学习16.5模仿学习16.强化学习强化学习是机器学习的一个重要分支。在强化学习中包含两种基本元素：状态与动作，在某个状态下执行某种动作，这便是一种策略。学习器要做的是不断地

西瓜书学习笔记第一章基本术语数据集：所有瓜样本/示例：一个瓜的描述（属性描述）属性：瓜皮颜色属性值：青绿属性空间"(attributespace)/“样本空间”(samp1espace)/“输入空间：属性张成的空间

13.半监督学习13.1未标记样本13.2生成式方式高斯混合生成式模型其他生成式模型13.3半监督SVMTSVM半监督支持向量机13.4基于分歧的方法13.5半监督聚类约束k均值算法（必连勿连）约束种子k均值算法（少量有标记样本）13.1未标记样本训练样本集D由有标记样本集DlD_lDl和未标记样本集DuD_uDu组成，若使用传统监督学习算法，则只能使用DlD_lDl，DuD_uDu的信息被浪费，

文章目录**1.1引言1.2基本术语（极其重要）1.3假设空间1.4归纳偏好1.5发展历程1.6应用现状1.7习题1.1引言机器学习(machinelearning)的定义：它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”的形式存在。ML研究的主要内容：在计算机上、从数据中产生“模型model”的算法。即是：如何通过数据集产生模型？因此机器学习本

西瓜书学习笔记第2章（模型评估与选择）2.1经验误差与过拟合2.2评估方法2.2.1留出法（hold-out）2.2.2交叉验证法（crossvalidation）2.2.3自助法（bootstrapping

文章目录前言一、算法处理数据的流程二、假设空间是什么？三、归纳偏好前言这篇文章将记录西瓜书中绪论的学习。一、算法处理数据的流程在我们训练一个模型前我们需要准备一些数据，训练集是历史数据。当我们有一批新的数据时（测试集），我们将这些数据输入训练过的模型来得到每个数据对应的标签。二、假设空间是什么？在我们使用数据集进行机器学习时，我们能用到的数据是有限的，而我们需要利用有限的数据通过算法拟合出一个能够

第十一章：特征选择与稀疏学习11.1子集搜索与评价子集搜索特征子集评价11.2过滤式选择Relief的相关统计量11.3包裹式选择拉斯维加斯方法和蒙特卡罗方法：11.4嵌入式选择与L1正则化11.5稀疏表示与字典学习稀疏性11.6压缩感知11.1子集搜索与评价一般情况下，我们可以用很多属性/特征描述一个示例，而对于特定的学习任务，我们会发现已知的所有属性中，有些特征是与该学习任务的目标无关的（如预

1.M-P神经元模型2.感知机由两层神经元组成，输入层接收外界输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”，感知机能容易的实际逻辑与、或、非运算，即可以解决线性可分的问题，实现不了异或运算，即无法解决非线性可分问题3.多层前馈神经网络多个神经元构成的神经网络能够分类线性不可分的数据集，且有理论证明（通用近似定理）：只需一个包含足够多神经元的隐层，多层前馈网络（最经典的神经网络

1.支持向量与间隔（其中-1,1是假设值，中间的线为“超平面”）欲找到具有“最大间隔”的划分超平面，即求解等价于求解此为支持向量SVM的基本型，是一个凸二次规划问题2.凸优化问题3.对偶问题求解（6.11）的代表算法SMO4.核函数核函数：核函数选择是支持向量机的最大变数，经验：文本数据通常采用线性核，情况不明时可尝试高斯核5.软间隔在现实任务中，往往很难确定合适的核函数使得训练样本在特征空间中线

目录第6章支持向量机参考文献第6章支持向量机求对偶问题的最优解：对于二次规划问题可以用规划算法来求解，但问题的规模正比于训练样本数，在实际上会造成很大开销，为了避免这个障碍，人们采用像序列最小优化算法（SequentialMinimalOptimization，SMO）的高效算法。SMO的思路是每次优化一个参数而视其他不变，求该参数上的极值。在参数初始化后，不断执行“选取一对（这里的一对，是因为约

西瓜书学习笔记第6章【支持向量机】6.1间隔与支持向量6.2对偶问题6.3核函数6.4软间隔与正则化6.5支持向量回归6.6核方法6.7思维导图6.1间隔与支持向量支持向量机（SupportVectorMachine

决策树1基本流程决策树基于树结构进行决策，决策过程的每个判定问题都是对某个属性的“测试”。一般的，一棵决策树包含一个根节点、若干内部节点和叶子结点。叶子结点对应的是决策结果，其它结点对应的是一个属性测试。每个几点所包含的样本集合根据属性的测试结果划分到不同的子结点中，根结点包含所有的样本集。其基本流程符合分而治之的策略。决策树的生成是个递归的过程，显然能发现三种导致递归返回的情况：1、当前节点所包

文章目录一、线性模型二、损失函数三、寻找损失函数的最小值1.最小二乘法2.梯度下降法1.学习率2.代码实现四、对数几率回归1、损失函数一、线性模型f(x)是线性模型的基本形式，数据集中有多少个属性（维度）就应该有几个自变量。当然，也可以存在一个自变量的有种次方形式，并将不同次方的自变量写成x1，x2，x3等。机器学习是通过数据集中的数据得到每个自变量前的参数。二、损失函数机器学习需要得到目标函数中

文章目录一、决策树1.ID3(利用信息增益选择属性）1.计算根节点的信息熵2.计算每个属性的信息熵3.划分2.C4.5(利用信息增益率）3.基尼指数二、剪枝1.预剪枝一、决策树1.ID3(利用信息增益选择属性）实际上决策树就是一个迭代的计算信息熵的过程。1.计算根节点的信息熵这一步就是计算label的信息熵可以看见label（好瓜）是二分类，有8个是，9个否。2.计算每个属性的信息熵每个属性都有几

目录一、第一章绪论1、重要基本术语1.1分类与回归1.2聚类1.3监督学习和无监督学习1.4泛化1.5归纳偏好二、第二章模型评估与选择1、评估方法1.1留出法2.2交叉验证法2.3自助法2、性能度量2.1错误率与精度2.2查准率、查全率与F1一、第一章绪论1、重要基本术语1.1分类与回归  分类：若我们预测的是离散值，例如判断是“坏瓜”“好瓜”，则此类学习任务成为“分类”（classificati

西瓜书学习笔记开始学习时间：2020/1/14作者：谭楷城第二章：模型评估与选择文章目录西瓜书学习笔记第二章：模型评估与选择2.1经验误差与过拟合2.2评估方法如何产生测试（验证）集？

支持向量机（SupportVectorMachine，SVM）目录【内容包含第六章】间隔与支持向量核函数软间隔（softmargin）正则化(regularization)支持向量回归（SupportVectorRegrassion,SVR）核方法间隔与支持向量分类学习的主要思想是在样本空间中找到一个划分超平面，将不同样本分开。超平面可以定义为其中w是法向量，决定超平面的方向，b是位移项，决定超平

神经网络（neuralnetworks）目录【内容包含第五章】神经元模型感知器与多层网络多层前馈神经网络（multi-layerfeedforwardneuralnetworks）反向传播算法（errorBackPropagation，BP）BP算法解决过拟合的问题全局最小（globalminimum）与局部极小（localminimum）其他常见神经网络深度学习（deeplearning）神经元

集成学习（ensemblelearning）【内容包含第八章】个体与集成集成学习一般是多个个体学习器以某种策略结合起来，其中的个体学习器可以是同质（homogeneous）的，成为“基学习算法”，也可以是异质（heterogenous）的，个体学习器成为组件学习器（componentlearner）。目前的集成学习主要分两类：1.串行进行的序列化方法，比如Boosting2.同时进行的并行化方法，

线性模型(linearmodel)目录【内容包含第三章】线性回归（linearregression）多元线性回归（multivariatelinearregression）对数几率函数（logisticfunction）线性判别分析（LinearDiscriminantAnalysis，LDA）多分类学习类别不平衡（clss-imbalance）线性回归（linearregression）向量形式

第三章：线性模型3.1基本形式3.2线性回归对离散变量的处理3.2.1对于样本只有一种属性的情况3.2.2对于样本由d个属性描述的情况用矩阵形式表示：①当$X^{T}X$为满秩矩阵或正定矩阵时：②当$X^{T}X$不为满秩矩阵或正定矩阵时：3.2.3广义线性模型（$y$的衍生）3.3对数几率回归（用线性模型做分类任务）对数几率回归的小总结求解对数几率回归模型的$w$和$b$3.4线性类别分析（LD

学习目标：理解并掌握机器学习入门相关的概念和基本术语学习内容：1.思维导图整理在这其中容易混淆的是数据集以及由数据集衍生出来的一系列概念，画张图出来会清晰很多，而概念的清晰能够帮助后续自学以及阅读各种中英文文献。2.重难点我认为本章重难点在于搞清楚样本空间、假设空间、版本空间的区别和联系。样本空间：所有已知样本的集合，也就是已知数据集。假设空间：不同特征的所有可能的特征值的排列组合。版本空间：在假

chapter10降维与度量学习10.1k近邻学习k近邻（knearestneighbor，knn）学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最接近的k个训练样本，然后基于这k个邻居的信息对该测试样本进行预测。对于分类任务，还是采用“投票法”决定测试样本的标记。在回归任务中，使用的是“平均法”，即将这k个邻居的平均值作为预测结果，还可根据距离的

chapter9聚类9.1聚类任务在无监督学习中，训练样本的标记未知，目标是通过无标记训练样本的学习来揭示数据的内在性质及规律，为进一步的数据分析提供基础，此类学习中应用最广，研究最多的是“聚类”。聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个簇，通过这样的划分，每个簇可能对应一些潜在的概念（类别），如“浅色瓜”，“深色瓜”，“有籽瓜”等。这些概念对聚类算法而言事先是未知

chapter6支持向量机6.1间隔与支持向量分类学习的基本思想就是在样本空间中找到一个划分超平面，将不同类别的样本分开。这个划分超平面所产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。w为法向量，决定了超平面的方向，b为位移项，决定了超平面与原点的距离。样本空间中任一点到超平面的距离为：注意：使等号成立，等号成立时最近样本离超平面的距离就是1/|w|间隔：两个异类支持向量到超平面的距离之和支

西瓜书学习笔记Chapter1—2Chapter1绪论一、学习内容Chapter2模型评估与选择一、学习内容二、难点该学习笔记中，基本概念和理论不详写，具体请看西瓜书Chapter1绪论一、学习内容1、

西瓜书学习笔记第1章（绪论）机器学习1.1引言1.2基本术语1.3假设空间1.4归纳偏好1.5发展历程1.6应用现状1.1引言机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能

目录1绪论1.1基本术语1.2假设空间2模型评估与选择2.1经验误差与过拟合2.2评估方法2.2.1留出法2.2.2交叉验证法2.2.3自助法2.2.4调参与最终模型2.3性能度量2.3.1回归任务常用的性能度量2.3.2分类任务常用的性能度量3线性模型3.1基本形式3.2线性回归3.3对数几率回归3.4线性判别分析3.5多分类学习3.6类别不平衡问题4决策树4.1衡量样本集合纯度的几种指标4.1