第一章机器学习之绪论目录第一章机器学习之绪论一、引言二、基本术语三、假设空间四、归纳偏好五、发展历程一、引言机器学习就是致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。Mitchell给出了更形式化的定义：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习。二、基本术语收集一组西瓜数据，(色泽=青

周志华老师亲讲-西瓜书全网最详尽讲解-1080p高清原版《机器学习初步》周志华机器学习（西瓜书）学习笔记（持续更新）周志华《MachineLearning》学习笔记绪论基本术语数据集（dataset）：一堆关于某种事物的数据的集合示例（instance）或样本(sample)：每条记录是关于一个事件或对象的描述，称为一个示例或样本属性（attribute）或特征（feature）：反映事件或对象在

目录4.1基本流程决策树学习基本算法4.2划分选择4.2.1信息增益信息熵信息增益西瓜例子4.2.2增益率4.2.3基尼指数4.3剪枝处理4.3.1预剪枝4.3.2后剪枝4.4连续与缺失值4.4.1连续值处理连续属性离散化西瓜例子4.4.2缺失值处理信息增益西瓜例子4.5多变量决策树轴平行决策树斜决策树4.1基本流程决策树:样本分类可看作基于树结构,来进行决策的过程.基本流程:"分而治之"(div

EM算法的引入引入EM算法的原因：概率模型有时候既含有观测变量，又含有隐变量或者潜在变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或者贝叶斯估计法估计模型参数。但是当模型含有隐变量时，就不能简单地使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法。EM算法的例子《统计学习方法》例9.1（三硬币模型）：假设有3枚硬币，分别记作A，B，C。这些硬币正

《西瓜书》指的是周志华老师的《机器学习》著作什么是机器学习？机器学习致力于通过计算的手段，利用经验来改善系统自身性能的学科经验通常是以“数据”的形式体现，或者上一次训练的错误机器学习的本质任务是预测。学习任务的分类：若我们预测的是离散值，如西瓜是好瓜还是坏瓜，此类学习任务是分类若我们预测的是连续值，如西瓜的成熟度，此类学习任务是回归若西瓜本身没有任何标签（好的，坏的，浅色的，深色的等），我们根据潜

西瓜书笔记第一章计算机系统中，“经验”以“数据”形式存在，所以机器学习的主要内容就是关于在计算机上从数据中产生“模型”的算法。

读西瓜书笔记（二）模型评估与选择（一）误差与过拟合1.经验误差(empiricalerror)/训练误差(trainingerror)与泛化误差(generalizationerror)错误率(errorrate

西瓜书笔记（第3章线性模型）3.1基本形式线性模型(linearmodel)试图学得一个通过属性的线性组合来进行预测的函数，即f(x)=ω1x1+ω2x2+...

目录相关概率知识贝叶斯-全概率公式先验概率、后验概率、似然概率7.1贝叶斯决策论7.2极大似然估计极大似然估计公式均值方差估计公式推导概率知识复习高斯分布最大似然估计7.3朴素贝叶斯分类器朴素贝叶斯分类器的概念条件概率估计方法拉普拉斯修正7.4半朴素贝叶斯分类器ODE基本思想SPODETANAODE7.5贝叶斯网7.5.1结构三变量典型依赖关系有向分离7.5.2学习结构学习参数学习7.5.3推断吉

第一章模型的输入与评估西瓜书概念很多，由过去多次反复入门经验，先选择摘取重要概念作为笔记，不纠结其他概念，实际代码中用到再深入。机器学习关键是三步：1.构造输入2.选择数学模型(线性回归、神经网络等)3.评估输出并最小化误差（梯度下降），本章讨论模型如何选择输入数据和常见的评估指标1.输入数据选择1.留出法留出法将数据集D分为两个互斥集合，其中一个作为训练集S，另一个作为测试集T。注意，划分数据集

目录9.1聚类任务9.2性能度量外部指标内部指标9.3距离计算有序属性的距离无序属性的距离属性距离变形9.4原型聚类k均值算法学习向量量化(LVQ)高斯混合聚类E步M步9.5密度聚类9.6层次聚类9.1聚类任务无监督学习(unsupervisedlearning)目标:揭示数据的内在性质及规律,为进一步的数据分析提供基础.聚类(clustering):将数据集中的样本划分为若干个不相交的子集.(子

1.1引言1.2基本术语按照课文给的实例，关于西瓜的数据。数据集：整个所给的数据的集合称为数据集样本/示例：一个事件或者对象，这里的是一个西瓜属性/特征：事件或者对象的某方面的表现或性质，比如西瓜的色泽，根蒂，敲声属性值：属性的取值，比如色泽属性可以取青绿、乌黑属性空间/样本空间/输入空间：整个属性张成的空间，比如把上述的三个属性在一个三维坐标中表示出一个西瓜的三位空间，每一个西瓜都可以在在这个空

2.1对数几率回归模型指数族分布是一类分布的总称，该类分布的分布律（概率密度函数）的一般形式如下：p(y;η)=b(y)exp⁡(ηTT(y)−a(η))=b(y)exp⁡[η(θ)⋅T(y)−A(θ)]=b(y)exp⁡(η(θ)⋅T(y)−A(θ))=b(y)exp⁡(η(θ)⋅T(y)−A(θ))p(y;\eta)=b(y)\exp(\eta^{T}T(y)-a(\eta))\\=b(y)\

Logistic回归理论知识补充建模流程假设我们建立一个二分类模型。假设有两个人A、B在争论如何对一个新样本xxx进行0-1二分类，他们两个分别对新样本进行打分，如果A的分数大于B的分数，则样本被预测为1，反之则被预测为0。假设两人的打分分数可以通过线性回归进行预测建模y1=θ1x+ϵ1,ϵ1∼N1(0,δ)y2=θ2x+ϵ2,ϵ2∼N2(0,δ)\begin{aligned}&y_{1}=\th

/数值计算3.气象可视化(1)Matplotlib绘图教程(2)Cartopy绘图教程(3)Metpy绘图教程(4)Basemap库教程(5)气象可视化案例4.机器学习系列教程(1)周志华《机器学习》西瓜书笔记

1、首先由SVM问题（最大间隔超平面模型）：所有样本都可以正确分类的最优化问题，引入软间隔SVM（允许分类错误）的最优化问题，即需要添加损失函数（样本不满足约束的程度，或者说分类错误的程度），然后最优化。这里强调一下：超平面这个回归模型如何实现分类功能：套上sign函数。损失函数要找性质好的，即凸函数，连续损失函数不要单纯只反映分类正确和错误（0/1损失函数）。而是分类正确时，损失记为0，分类错误

这章节的内容对于小白来说属实有点难，把我难到无法用自己的语言去做笔记。好在互联网上的大神随处可见，寻到一篇“码农场”的一篇文章，虽然他整理的不是西瓜书，而是《统计学方法》的第七章，支持向量机。但是我觉得要比西瓜书更加容易理解。反复多嚼几遍，总会有意想不到的收获！下面奉上链接，大家一起学习ba！支持向量机--码农场关于公式推导的补充

5.1软间隔SVM之前我们使用的是严格线性可分的硬间隔SVM：min⁡w,b12∥w∥2s.t.1−yi(wTxi+b)⩽0,i=1,2,…,m\begin{array}{ll}\min_{\boldsymbol{w},b}&\frac{1}{2}\|\boldsymbol{w}\|^{2}\\\text{s.t.}&1-y_{i}\left(\boldsymbol{w}^{\mathrm{T}}

4.1超平面wTx+b=0\boldsymbol{w}^{\mathrm{T}}\boldsymbol{x}+b=0wTx+b=0法向量恒垂直于超平面和法向量方向相同的点(与w\boldsymbol{w}w夹角θ\thetaθ小于90度的向量)代入超平面方程恒大于等于0，否则恒小于等于0(与w\boldsymbol{w}w夹角θ\thetaθ大于90度的向量)法向量和位移项唯一确定一个超平面等倍缩

目录6.1间隔与支持向量6.2对偶问题求解w求解b6.3核函数非线性映射核函数6.4软间隔与正则化软间隔参数求解正则化6.5支持向量回归6.6核方法6.1间隔与支持向量分类学习基本想法:就是基于训练集D在样本空间中找到一个划分超平面、将不同类别的样本分开.超平面(w,b)的线性方程:$$\boldsymbol{w}^T\boldsymbol{x}+b=0\\其中\boldsymbol{w}=(w_

chapter55.1神经元模型定义：神经网络是由具有适应性的，简单单元组成的，广泛并行互联的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反映。神经网络的基本单元是神经元模型，当一个神经元兴奋时，会向相连的神经元发送化学介质，从而改变神经元内的电位，如果某神经元的电位超过了阈值，那么就会兴奋起来（阈值就是平时所说的偏差bias）。M-P神经元模型：模型中，神经元接受其它神经元传来的

西瓜书笔记（第六章支持向量机）6.1间隔与支持向量直观上看，应该去找位于两类训练样本“正中间”的划分超平面，即图6.1中红色的那个，因为该划分超平面对训练样本局部扰动的“容忍”性最好.例如，由于训练集的局限性或噪声的因素

序言南瓜书（机器学习公式详解）作者谢文睿老师在南瓜书前言中如此写到：“周志华老师的《机器学习》（西瓜书）是机器学习领域的经典入门教材之一，周老师为了使尽可能多的读者通过西瓜书对机器学习有所了解,所以在书中对部分公式的推导细节没有详述，但是这对那些想深究公式推导细节的读者来说可能“不太友好”，本书旨在对西瓜书里比较难理解的公式加以解析，以及对部分公式补充具体的推导细节。”读到这里，大家可能会疑问为啥

1、变量符号含义1、训练集D={(x⃗1,y⃗1),(x⃗2,y⃗2),...,(x⃗m,y⃗m)}D=\{(\vec{x}_1,\vec{y}_1),(\vec{x}_2,\vec{y}_2),...,(\vec{x}_m,\vec{y}_m)\}D={(x1,y1),(x2,y2),...,(xm,ym)}，共m个样例2、x⃗i∈Rd,y⃗i∈Rd\vec{x}_i\in\mathbb{R}^

目录5.1神经元模型5.2感知机与多层网络感知机感知机模型感知机学习策略感知机学习算法多层网络5.3误差逆传播算法标准BP(误差逆传播)算法变量符号公式推导工作流程累积BP算法5.4全局最小与局部极小跳出局部极小的技术5.5其他常见神经网络5.5.1RBF网络5.5.2ART网络5.5.3SOM网络5.5.4级联相关网络5.5.5Elman网络5.5.6Boltzmann机5.6深度学习5.1神经

感谢康傲同学的深刻讨论与精彩讲解.目录逆强化学习概述强化学习与逆强化区别逆向强化学习分类学徒学习学徒学习思想相关定义算法描述学徒算法找最优策略\(\tilde{\pi}\)逆强化学习概述参考:https://zhuanlan.zhihu.com/p/26682811强化学习与逆强化区别强化学习是求累积回报期望最大时的最优策略，在求解过程中立即回报是人为给定的。人在完成具体任务时,指定回报函数的方法

我原本想着一边读一边删减一些以后好复习的,谁知这书一句废话没有,一晚上敲了个寂寞1.2基本术语关于西瓜的数据:(色泽===青绿;根蒂===蜷缩;敲声===浊响)(色泽===乌黑;根蒂===稍蜷;敲声===沉闷)(色泽===浅白;根蒂===硬挺;敲声===清脆)  一对括号内是一条记录,"===“意思是"取值为”.  一组记录的集合称为一个"数据集"(dataset),每条记录是关于一个事件或对象(

读西瓜书笔记（一）绪论（一）什么是机器学习机器学习致力于研究如何通过计算的手段，利用经验来改善自身的性能。

西瓜书笔记系列-目录1.2基本术语术语集见文末。因为是边读边做的笔记，且是第一次读这本书的笔记，所以除了零零散散添加的想法以外，做得有点像单纯的转述摘抄了。

2.1经验误差与过拟合错误率：分类错误的样本数占样本总数的比例。精度：1-错误率=精度误差：学习器的实际预测输出与样本的真实输出之间的差异。训练误差/经验误差：学习器在训练集上的误差。泛化误差：在新样本上的误差。过拟合：学习器学习能力太好导致把训练本身的特点当作所有样本都具有的特点，导致泛化能力下降。2.2评估方法通常，我们通过实验测试学习器的泛化误差来进行评估进而做出选择，以测试集的测试误差作为

目录第一章绪论1.1引言1.2基本术语1.3假设空间1.4归纳偏好1.5发展历程1.6应用现状第二章模型评估与选择第一章绪论1.1引言研究目标机器学习致力于，研究如何通过计算手段，利用经验（通常以数据形式出现）来改善系统自身的性能。研究内容机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”(model)的算法，即学习算法（learningalgorithm）。有了学习算法，我们把经验数

第一章绪论一、基本术语1、模型：本书中指从数据中学得的结果2、样本/示例/特征向量sample/instance/featurevector：即一条记录，对一个对象的描述。如：关于西瓜的一条记录为：（颜色=青绿；根蒂=蜷缩；敲声=浊响）在有样本空间概念的情况下，由于空间中每个点对应一个坐标向量，则把一个样本称为一个特征向量3、数据集dataset：一组记录的集合。4、特征/属性feature/at

（西瓜书笔记）（一）神经元模型神经网络(neuralnetworks)：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

一、概念支持向量机分类学习的基本思想：基于训练样本集D={(x1,y1),(x2,y2),....,(xm,ym)},yi∈{−1,+1}D=\{(x_1,y_1),(x_2,y_2),....,(x_m,y_m)\},yi∈\{-1,+1\}D={(x1,y1),(x2,y2),....,(xm,ym)},yi∈{−1,+1}，在样本空间找到一个划分超平面，将不同类别样本分开支持向量机：分类问题

读西瓜书笔记（二）模型评估与选择（一）误差与过拟合1.经验误差(empiricalerror)/训练误差(trainingerror)与泛化误差(generalizationerror)错误率(errorrate

#西瓜书笔记文章目录模型评估和选择线性模型决策树神经网络支持向量机贝叶斯分类集成学习聚类性能度量与距离计算原型聚类密度聚类层次聚类降维与度量学习特征选择与稀疏学习计算学习理论半监督学习半监督学习的方法概率图模型规则学习强化学习误差函数卷积池化后的图像大小计算集成学习评估特征的重要性

讲真，这书是越看觉得自己不会的越多，感觉好多概念，完全不是理工男喜欢的样子。。首先了解一下NP问题，机器学习面临的问题多是NP完全问题(NP-C问题)，号称世界七大数学难题之一。NP的英文全称是Non-deterministicPolynomialComplete的问题，即多项式复杂程度的非确定性问题。怎么样，有没有被吓到。看了百度百科对NP问题的解释，感觉营养还比较丰富，有兴趣可以看下NP完全问

3.1基本形式线性模型（linearmodel）试图学得一个通过属性的线性组合来进行预测的函数，即：f(xi)=w1x1+...wdxd+bf(x_i)=w_1x_1+...w_dx_d+bf(xi)=w1x1+...wdxd+b线性模型的优势：形式简单、易于建模、可解释性好（通过w直观地表达了各属性在预测中的重要性）从线性模型到非线性模型可以通过引入层级结构/高维映射的方式来实现3.2线性回归（

机器学习西瓜书笔记——绪论1.1引言什么是机器学习？人是通过经验学习；而机器学习的主要内容是在计算机上从数据中产生“模型”(model)的算法，模型的作用是更好的预测、判断未发生的样例。

第一章绪论机器学习：-计算的手段-自身经验(数据)-改善性能(学习算法→模型)属性空间={属性1，属性2，…}分类泛化(generalization)：适用于新样本的能力模型应注重于预测未知，拟合未知独立同分布i.i.d归纳：所有匹配的假设→假设空间→版本空间归纳偏好（优先考虑实际业务）第二章模型的评估与选择errorrate：错误率E=a/maccuracy：精度1-a/m误差error：-训练

《机器学习》西瓜书笔记——chapter7：贝叶斯分类器MarshalZheng2019-04-16西瓜书笔记更新啦！

文章目录西瓜书笔记1.基本流程2.划分选择2.1信息增益2.2增益率2.3基尼指数3.剪枝处理3.1预剪枝3.2后剪枝4.连续与缺失值4.1连续值处理4.2缺失值处理5.多变量决策树代码实现三种算法实现鸢尾花

文章目录西瓜书笔记1.神经元模型2.感知机与多层网络3.误差逆传播算法4.全局最小与局部极小5.其他常见神经网络5.1RBF网络5.2ART网络5.3SOM网络5.4级联相关网络5.5Elman网络5.6Boltzmann

2.1经验误差过拟合欠拟合首先依旧给出一些定义：1、错误率（errorrate）：分类错误的样本数占样本总数的比例2、精度（accuracy）：1-错误率3、训练误差/经验误差（empiricalerror）：学习器在训练集上的误差4、泛化误差：学习器在新样本上的误差我们希望的是在新样本上表现的很好的学习器，所以目标为使泛化误差尽可能的小，但是我们靠训练集上的数据只能做到减小经验误差，以求能达到学

正如我在【西瓜书笔记】——神经网络中所记录到的，从感知机开始到前馈神经网络再到BP神经网络，这无非是神经网络中最基本的3个知识点。深度神经网络就是在此

目录3.1基本形式3.2线性回归情形1,输入属性只有1个情形2,样本属性d个,多元线性回归线性模型变化,广义线性模型3.3对数几率回归对数几率函数对数几率回归参数估计-极大似然法求最优解-牛顿法3.4线性判别分析参数估计-拉格朗日乘子法推广到多分类任务参数估计-广义特征值问题3.5多分类学习ECOC3.6类别不平衡问题习题3.1基本形式线性模型(linearmodel)学得一个函数,通过属性的线性

文章目录《机器学习》笔记——决策树与随机森林1.简介2.ID3算法2.1信息熵(InformationEntropy)2.2条件熵(ConditionalEntropy)2.3KL散度与信息增益(Kullback-LeiblerDivergence&InformationGain)2.4ID3决策树2.5C4.5算法2.5.1简介2.5.2信息增益率2.5CART算法2.5.1简介2.5.2Gin

3.1决策树基本流程一颗决策树包括：根节点：包含样本全集若干内部节点：对应属性测试若干叶子结点：对应决策结果结点包含的样本集合根据属性测试划分到子节点中国基本流程遵循分而治之伪代码：【来源：西瓜书page74】决策树算法是典型的递归算法。三种递归返回情况：当前节点包含的样本权属同一个类别，无需划分当前属性集为空，或者所有样本属性相同，无法划分。标记当前结点为叶子结点，类别设定为该节点所含样本最多的

Hello大家好，我是飞燕，目前还是一名在校大学生，对机器学习，深度学习，计算机视觉非常感兴趣。在基本结束了大学本科的数学课程学习之后，开始自学机器学习有关知识，选择了被广泛推荐的《机器学习》（西瓜书）作为入门书籍，在这里把自己学习过程，学习笔记，自认为较为重要的书中的知识点和自己的一些想法写成博客，与大家一起学习讨论，同时也是对自己学习历程的一个记录。这是飞燕第一次写技术性博客，有错误或者不足之

标题机器学习西瓜书笔记——绪论1.1引言什么是机器学习？人是通过经验学习；而机器学习的主要内容是在计算机上从数据中产生“模型”(model)的算法，模型的作用是更好的预测、判断未发生的样例。