机器学习与人工智能、深度学习的关系人工智能机器展现的人类智能机器学习计算机利用已有的数据(经验)，得出了某种模型，并利用此模型预测未来的一种方法。深度学习实现机器学习的一种技术机器学习的范围机器学习可以解决给定数据的预测问题，包括✓数据清洗/特征选择✓确定算法模型/参数优化✓结果预测）不能解决：x大数据存储/并行计算x做一个机器人机器学习的发展史总的来说，人工智能经历了逻辑推理、知识工程、机器学习

注：本文内容仅为个人学习笔记，教程为黄海广老师主讲的机器学习入门系列，课程链接（中国大学慕课，有习题和证书）：https://www.icourse163.org/course/WZU-1464096179，课程资源（pdf版本课件和代码）公布在Github：https://github.com/fengdu78/WZU-machine-learning-course，课程视频也可以在b站观看（观

机器学习笔记02：特征工程文章目录机器学习笔记02：特征工程1.特征工程定义2.数据的特征抽取：1.字典特征抽取：2.文本特征抽取：3.tf-df分析问题3.特征预处理1.特征处理的方法：1.数值型数据

0线性回归的假设线性：自变量（x）和因变量（y）之间应该存在线性关系，这意味着x值的变化也应该在相同方向上改变y值。独立性：特征应该相互独立，这意味着最小的多重共线性。正态性：残差应该是正态分布的。同方差性：回归线周围数据点的方差对于所有值应该相同。假设有如下数据这些数据符合以下图关系（以一维数据为例），这里的函数f(w)忽略了偏置b1最小二乘估计我们的目标是要求w，使得Xw和实际值y最近。所以我

1传统的线性回归机器学习笔记：线性回归_线性回归的读书笔记-CSDN博客最优的β为：2地理加权回归（GWR）2.1模型概述地理加权回归（GeographicallyWeightedRegression，

一、简述这里主要介绍了基于自定义动作识别数据集训练用于视频分类的3D卷积神经网络(CNN)。3DCNN使用三维滤波器来执行卷积。内核能够在三个方向上滑动，而在2DCNN中它可以在二维上滑动。这里的模型主要基于D.Tran等人2017年的论文“动作识别的时空卷积研究”。https://arxiv.org/abs/1711.11248v3https://arxiv.org/abs/1711.11248

1.机器学习基础概念1.1定义AcomputerprogramissaidtolearnformexperienceEwithrespecttosometaskTandsomperformancemeasureP,ifitsperformanceonT,asmeasuredbyP,improveswithexperienceE.例如：根据你将那些邮件标记为垃圾邮件的行为，邮件程序学习更好的过滤邮件

机器学习笔记机器学习系列笔记，主要参考李航的《机器学习方法》，见参考资料。

机器学习笔记第一章机器学习简介第二章感知机文章目录机器学习笔记一、超平面二、感知机定义三、学习策略和学习算法1线性可分2损失函数定义3优化算法—SGD4算法收敛性四、感知机的缺点参考资料感知机（PLA）

机器学习笔记机器学习系列笔记，主要参考李航的《机器学习方法》，见参考资料。

在前面的文章中，我们分别介绍了《K-means原理和实践》和《Birch和层次聚类》两种聚类算法，本文我们继续介绍另一种常用的聚类算法DBSCAN。相对于前两种算法，DBSCAN的原理要简单的多，但是这并不意味着它的效果就会差，在很多算法表现不好的非凸数据集上（凸数据集可以简单理解为数据集中的任意两点连线上的点都在数据集内），DBSCAN往往能取得较好的效果，见下图，这也是DBSCAN最大的优势，

回归函数在逻辑回归模型中我们不能再像之前的线性回归一样使用相同的代价函数，否则会使得输出的结果图像呈现波浪状，也就是说不再是个凸函数。代价函数的表达式之前有表示过,这里我们把1/2放到求和里面来。这里的求和部分我们可以表示为：很显然，如果我们把在之前说过的分类问题的假设函数带进去，即，得到的结果可能就是上述所说的不断起伏的状况。如果这里使用梯度下降法，不能保证能得到全局收敛的值，这个函数就是所谓的

一.初识机器学习1.监督学习在监督学习中，训练数据既有特征又有标签，通过训练，让机器可以自己找到特征和标签之间的联系，在面对只有特征没有标签的数据时，可以判断出标签。监督学习可以分为回归问题和分类问题。回归问题是利用训练出的模型，预测连续的数值输出；分类问题是预测离散值的输出。2.无监督学习无监督学习是给算法大量的数据，要求它找出数据的类型结构。无监督学习的数据没有标签，或是所有数据都是同一种标签

Howtodealwithbadtrainingsomereference如何处理训练不好的情况1、LossontrainingdataislargeCriticalpointBatchandMomentumAdaptiveLearningRateClassificationBatchNormalization2、Lossontrainingdataissmallbutontestingdatai

按照计划今天该是整理到朴素贝叶斯了，但是线性回归的实现和逻辑回归都还没有完成，欠的东西越来越多。预备知识贝叶斯定理（BayesianTheorem）先验概率与后验概率朴素贝叶斯分类器何为“朴素”：属性条件独立性假设分类准则离散属性与连续属性值的分别处理例子讲解拉普拉斯修正(Laplaciancorrection)了解朴素贝叶斯需要先了解贝叶斯定理，深入了解朴素贝叶斯朴素贝叶斯分类器

数据预处理：归一化和标准化机器学习笔记：为什么要对数据进行归一化处理？数据标准化作用：模型求解需要，归一化可以加快梯度下降的速度，即模型收敛速度。

机器学习，本质上是用模型解决实际业务问题。通过学习模型，可以知道机器学习的基本机制以及相关领域问题是如何解决的。学习有两种方式，一是记住问题和对应模型然后直接使用，二是了解模型底层的原理和推导过程。这和我们学习某种编程语言一样，可以只会调用类库，但要想成为专家，就必须了解底层原理，在面对复杂应用时，就可以融会贯通，做出适当取舍和正确决策了。另外，了解原理，你可以告诉领导、同事，为什么选这个模型，甚

前言前段时间摸了下机器学习，然后我发现其实openCV还是一个很浩瀚的库的，现在也正在写一篇有关yolo的博客，不过感觉理论偏多，所以在学yolo之前先摸一下opencv，简单先写个项目感受感受opencv。流程openCV实际上已经有一个比较完整的模型了，下载在haarcascades这里我们下haarcascade_frontalface_default.xml以备用。在做人脸识别的时候流程就

目录基础语法加载数据：pd.read_csv查看数据大小：shape浏览数据行字段：columns浏览少量数据：head()浏览数据概要：describe()输出：to_csv基础功能语法缺省值去除缺失值：dropna按行删除：存在空值，即删除该行按行删除：所有数据都为空值，即删除该行按列删除：该列非空元素小于10个的，即去除该列设置子集：去除多列都为空的行分割后删除缺省列：.drop删除指定的列

目录一基本分类二按模型分类概率模型（ProbabilisticModels）非概率模型（Non-ProbabilisticModels）对比结论线性模型(LinearModels)非线性模型(Non-linearModels)对比三按算法分类1.批量学习（BatchLearning）2.在线学习（OnlineLearning）对比四按技巧分类五机器学习的三要素经验风险(EmpiricalRisk)

文章目录1.神经网络层2.更复杂的神经网络3.神经网络的前向传播【吴恩达机器学习笔记p47-49】1.神经网络层【了解神经网络如何完成预测的】input：4个数字的向量。

文章目录机器学习逻辑回归（LR）基本原理为什么LR要使用sigmoid函数？LR可以用核函数么？为什么LR用交叉熵损失而不是平方损失？LR能否解决非线性分类问题？LR为什么要离散特征？逻辑回归是处理线性问题还是非线性问题的？线性回归基本原理线性回归与逻辑回归（LR）的区别支持向量机（SVM）基本原理

一、简述如果相机在移动，光流本身无法有效检测运动。尽管可以区分某些运动，但我们需要找到一种方法来区分相机和物体运动，以便执行检测。在本教程中，我们将利用深度光流和特殊的RANSAC算法来检测移动摄像机的运动。一个随机样本共识（RANSAC）的简单介绍https://skydance.blog.csdn.net/article/details/134887458https://skydance.bl

一、简述在各种高级开源库的帮助下，检测固定摄像机拍摄的运动行为是轻而易举可以实现的，但检测移动的摄像机拍摄的移动物体的运动检测依然是一个复杂的问题。在这里，我们将继续基于稀疏光流，并检测移动的无人机相机的运动。这里使用的数据集来自VisDrone数据集，见下面github的链接。这个数据集其中包含各种环境下的无人机视频剪辑。运动检测在该领域的应用包括：监视、自主、搜索和救援，甚至环境应用。该检测方

李弘毅机器学习笔记：第七章—深度学习的发展趋势回顾一下deeplearning的历史：1958:Perceptron(linearmodel)1969:Perceptronhaslimitation1980s

一、环境说明这里编译的环境主要是基于vcpkg、cmake、VisualStudio2022、win11。1、首先更新vcpkg因为我本地是已经安装过vcpkg的，但是很久没有更新了，所以首先更新一下，该挂梯子的要挂梯子了，如果挂了梯子也不好用，那就更新的时候看看什么下载不下来，就想办法手动下载吧。更新过程，首先重新拉取gitpullhttps://github.com/microsoft/vcp

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、機器學習基

1异常类型1.1异常值outlier给定输入时间序列，异常值是时间戳值其中观测值与该时间序列的期望值不同。1.2波动点（ChangePoint）给定输入时间序列，波动点是指在某个时间t，其状态在这个时间序列上表现出与t前后的值不同的特性。1.3断层异常（Breakout）时序系统中某一时刻的值比前一时刻的值陡增或者陡降很多，之后形态也发生了改变。2常见异常检测方法2.1基于统计首先建立一个数据模型

一、偏最小二乘回归：简介PLS方法构成了一个非常大的方法族。虽然回归方法可能是最流行的PLS技术，但它绝不是唯一的一种。即使在PLSR中，也有多种不同的算法可以获得解决方案。PLS回归主要由斯堪的纳维亚化学计量学家SvanteWold和HaraldMartens在20世纪80年代初开发。理论背景基于HermanWold（Svante的父亲）的PLS建模框架。偏最小二乘回归（PLSR）是机器学习和预

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、大语言模型

一、什么是DeepLabv3？DeepLabv3是用于语义分割任务的深度神经网络(DNN)架构。虽然不是比较新的网络模型，但是也是分割模型里的杰出代表之一，所以还是值得深入了解。它使用Atrous（Dilated）卷积来控制感受野和特征图分辨率，而不增加参数总数。另一个主要属性是所谓的“AtrousSpatialPyramidPooling”，它可以有效地提取包含有用分割信息的多尺度特征。一般来说

听说GPT4模型更大、参数更多，功能更强，具体它好在哪里？GPT4真的能看懂图片吗？官方回答：不太能~~下面这张图片是将两个不存在的网址输入进GPT4，问它看到了什么，结果发现GPT真的会胡言乱语，它会根据网址中出现了“man”这个单词，就说他看到了“一个拿着手枪的男人。。。巴拉巴拉”明显就是在胡编乱造！而如果网址中出现了“girl”这个单词，GPT又会说他看到了“一个穿着校服的女孩子。。。巴拉巴

前言上一节大概讲了一下LeNet的内容，这一章就直接来用，实际上用一下LeNet来进行训练和分类试试。调用的数据集：https://aistudio.baidu.com/datasetdetail/19065说明：如今近视已经成为困扰人们健康的一项全球性负担，在近视人群中，有超过35%的人患有重度近视。近视会拉长眼睛的光轴，也可能引起视网膜或者络网膜的病变。随着近视度数的不断加深，高度近视有可能引

前言大伙既然都来做这个了，那配个CUDA环境肯定是必不可少的了吧（笑）最前面的最前面，流程确定当前设备支持的CUDA版本安装CUDAToolkit和GPU版的Paddlepaddle下载cuDNNArchive手动放置配套的cuDNN到指定文件夹测试1.确定当前设备支持的CUDA版本当然了，我这里默认了你是有安装NVIDIA驱动的，如果没有，你可以自己百度一下如何安装NVIDIA驱动，或者直接下载

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、图像生成常

上一个笔记，我们大概了解了什么是机器学习以及机器学习的两个重要的分类，本篇笔记将带领大家了解机器学习的第一个模型——线性回归例题为了让大家更加直观的理解这个模型，我们引入一个例题，我们有一组波特兰市的城市住房的价格数据，我们要通过这些数据来找出一个函数，来预测任意面积下的房价，这就是一个简单的线性回归问题。这里给出的数据是一组房子面积对应的房价数据集其中m代表训练集，x是输入，y是输出。我们用（x

前言图像分类是根据图像的语义信息对不同类别图像进行区分，是计算机视觉的核心，是物体检测、图像分割、物体跟踪、行为分析、人脸识别等其他高层次视觉任务的基础。图像分类在许多领域都有着广泛的应用，如：安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类，医学领域的图像识别等。这里简单讲讲LeNet我的推荐是可以看看这个视频，可视化的查看卷积神经网络是如何

前言：这几天一直都在研究模糊聚类。感觉网上的文档都没有一个详细而具体的讲解，正好今天有时间，就来聊一聊模糊聚类。一：模糊数学我们大家都知道计算机其实只认识两个数字0,1。我们平时写程序其实也是这样if1thendo.永远这种模式，在这种模式中，一个元素要么属于这个集合，要么不属于这个集合，但是对我们现在介绍的模糊集来说，某个元素可能部分属于这个集合，又可能部分属于另外的集合，显然，例如，一个男人(

吴恩达机器学习笔记第一周基本概念监督学习分为回归算法和分类算法无监督学习事先没有正确答案。

一、3D数据简介人们一致认为，从单一角度合成3D数据是人类视觉的一项基本功能，这对计算机视觉算法来说极具挑战性。但随着LiDAR、RGB-D相机（RealSense、Kinect）和3D扫描仪等3D传感器的可用性和价格的提高，3D采集技术的最新进展取得了巨大飞跃。与广泛使用的2D数据不同，3D数据具有丰富的尺度和几何信息，从而为机器更好地理解环境提供了机会。然而，与2D数据相比，3D数据的可用性相

前言这里实际上涉及到了挺多有关有关理论的东西，可以详细看一下paddle的官方文档。不过我这里不过多的谈有关理论的东西。【低层视觉】低层视觉中常见的卷积核汇总图像处理中常用的卷积核在代码中，我们实际上是用不同的卷积核来造成不同的影响，我这里也是paddle中对于卷积核的几个比较简单的应用。什么是卷积核？如果你不考虑卷积核的计算，可以简单的将卷积核理解成一个矩阵，这个矩阵维度的大小和取值的不同会导致

一、什么是机器学习（一）机器学习定义一：计算机通过非显著性编程获得的学习能力。非显著性编程指的是：计算机自己从经验中总结出相关的规律。显著性编程：需要人为把机器人所处的环境调查清楚。例如：1）让计算机区分菊花与玫瑰花。显著性编程：直接给出菊花与玫瑰花的特点非显著性编程：通过大量图片，计算机总结两种花的特征规律，进行区分2）让机器人冲咖啡显著性编程：我们要判断往哪走，什么时候停，什么时候开始冲咖啡等

一、蒙特卡诺采样回溯计算V值把智能体放入环境的任意状态——从这个状态开始按照策略进行动作选择，并进入新状态——重复步骤2，直至进入最终状态——从最终状态往前回溯，计算每个状态的G值——重复1~4状态多次，平均每个状态的G值，这就是所需的V值1.具体G值计算如下：按照策略往后走，过程中不进行计算，只记录每一步的奖惩r从终点往前走，到某一状态获得的奖励总和就是G值。此时G=r+gamma*G_1，即这

一、什么是强化学习强化学习就是让智能体可以独立自主的完成某个任务。独立自主指的就是不需要人去指挥。比如扫地机器人，打开开关就会自动去清理。自动驾驶的汽车，在定好目的地后，可以自动安全达到目的地。强化学习的过程Agent（智能体）——产生Action（行动）——Environment（环境）——产生newstate（状态）以及reward（奖惩）——返给Agent强化学习的本质：学习的是一种策略Po

资料课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.phpGithub：https://github.com/Fafa-DL/Lhy_Machine_LearningB站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800一、对Chat

前言第一次写卷积神经网络，也是照着paddlepaddle的官方文档抄，这里简单讲解一下心得。首先我们要知道之前写的那些东西都是什么，之前写的我们称之为简单神经网络，也就是简单一层连接输出和输出，通过前向计算和逆向传播，以及梯度下降的方式让结果慢慢滑向我们期望的终点。这种方法固然好，但是它的限制也是显而易见的：需要我们提供损失函数需要对数据进行相当大量的计算只能处理线性函数，而对非线性的函数处理能

前言我们之前不是说了有关梯度下降公式的事嘛，就是那个这样梯度下降公式涉及两个问题，一是梯度下降的策略，二是涉及到参数的选择，如果我们选择固定步长的时候，就会发现我们求的值一直在最小值左右震荡，很难选择到我们期望的值。假设上图中，x0为我们期望的极小值，yB=xA-yA’xA的时候，xB实际上蹿到了极小值的右侧去了，当我们yC=xB-yB’xB的时候，我们求的yC又跑到极小值的左边去了，反正就是一直

前言我们之前用的是均方差作为我们神经网络的损失函数评估值，但是我们对于结果，比如给定你一张应该是0的照片，它识别成了6，这个时候这个均方差表达了什么特别的含义吗？显然你识别成6并不代表它比识别成1的情况误差更大。所以说我们需要一种全新的方式，基于概率的方案来对结果进行规范。也就是我们说的交叉熵损失函数。至于什么是交叉熵损失函数，由于本文不涉及实际的数学论证，感兴趣可以看这个简单的小视频：你真的理解

一、什么是匈牙利算法？匈牙利算法是一种优化算法，可以在多项式时间内解决分配问题。该算法也被称为Kuhn-Munkres算法或Munkres分配算法。匈牙利算法由以下四个步骤组成。前两个步骤执行一次，而步骤3和4则重复执行，直到找到最佳分配。该算法的输入是一个仅包含非负元素的n×n方阵。步骤1：减去行最小值对于每一行，找到最低的元素并从该行中的每个元素中减去它。第2步：减去列最小值<

一、简述随着从不同的来源生成和捕获大量数据。尽管信息量巨大，但它往往反映了现实世界现象的不平衡分布。数据不平衡的问题不仅仅是统计上的挑战，它对数据驱动模型的准确性和可靠性具有深远的影响。以金融行业欺诈检测为例。尽管我们希望避免欺诈，因为其具有高度破坏性，但机器（甚至人类）不可避免地需要从欺诈交易的示例中学习（尽管很少见），以将其与日常合法交易的数量区分开来。欺诈性交易和非欺诈性交易之间的数据分布不