课程基于李宏毅老师《机器学习》同时感谢DatawhaleLeeML-Notes的组队学习——五月班级目录模型设计步骤1.模型假设2.模型评估3.模型优化对单个步骤进行优化总结模型设计步骤1.模型假设，主要选择模型框架（线性、非线性等）2.模型评估，判断模型好坏（损失函数LOSS）3.模型优化，筛选最优的模型（梯度下降）1.模型假设通过特征值（单个特征或多个特征）来选择合适的数学模型（一元或多元、线

元学习MetaLearning：学习如何去学习。learntolearn.机器学习步骤总结第一步：第二步：第三步：元学习是什么输入训练资料，通过方法，进行训练。学习这个方法。利用以往的知识经验来指导新任务的学习，具有学会学习的能力。hand_crafted是人设定的意思。元学习步骤第一步：寻找方法要学的参数是Φ。之前这些component都是人定的，元学习里是求这些component.第二步：计算

深度学习介绍及反向传播深度学习的三个步骤第一步——定义模型（NN）第二步——定义模型的好坏第三步——找到较优模型反向传播链式法则具体细节深度学习的三个步骤与之前的回归内容一样，可以概括为三个步骤。第一步——定义模型（NN）像神经元一样，设置输入层、隐藏层和输出层。层与层之间的权重我们用θ\thetaθ表示。“简单来说，深度学习就是有很多个隐藏层的神经网络。”全连接是连接不同的神经元一种方式。当前层

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！）Lecture7:CNN目录一、CNN的引入二、CNN的层次结构三、CNN的小Demo加深对CNN的理解四、CNN的特点在学习

一、说明给定训练集train.csv，要求根据前9个小时的空气监测情况预测第10个小时的PM2.5含量。训练集介绍：(1)、CSV文件，包含台湾丰原地区240天的气象观测资料(取每个月前20天的数据做训练集，12月X20天=240天，每月后10天数据用于测试，对学生不可见);(2)、每天的监测时间点为0时，1时......到23时，共24个时间节点;(3)、每天的检测指标包括CO、NO、PM2.5

GAN网络by熠熠发光的白distribution当进行视频预测的时候，有时会出现分裂预测的情况，这是因为在训练过程中，有向左与向右的训练集，所以可能在预测的情况下有残影预测的出现。这种时候就需要提供一个simpledistribution来给出一个概率分布，也就是此时的输出包含了向左和向右的可能。unconditionalgeneration不带x，仅输入simpledistribution给出

李宏毅机器学习HW3二、torch的基本功能三、PIL四、torch.backends.cudnn.benchmark五、transforms六、nn.Conv2d七、MaxPool2d八、BatchNorm2d

频域上的图神经网络之前时域上之所以不对数据和卷积一样做卷积处理，是因为在图神经网络中，各个节点都不规范，没办法引用规范的卷积核进行卷积操作。这里我们可以把这一理念在频域中运用。我们知道，在时域中卷积就等于在频域中相乘，这个奠定了在神经网络可以定义在频域的基础。因此在频域上图神经网路就是把数据先transform到频域上，用filter处理，然后再转回到空域的过程。首先是一些必备知识1、2、定义ad

文章目录前言1Introduction2Roadmap3Spatial-basedGNNNN4G(NeuralNetworksforGraph)论文地址DCNN(Diffusion-ConvolutionNeuralNetwork)MoNET(MixtureModelNetworks)GraphSageGAT(GraphAttentionNetworks)GIN(GraphIsomorphismN

文章目录摘要1FourierTransform2Spectral-basedGNN2.1整体思想2.2SpectralGraphTheory2.3方法的弊端3应用算法3.1ChebNet3.2GCN4结论与展望摘要Spectral-basedGNN方法借助了信号与系统中的傅里叶变换，定义了一套SpectralGraphTheory，用DiscretetimeFourierbasis体现频率与信号能

课程资源B站视频课程网址课程笔记问答整理下面仅记录自己的所得所感第一节Regression从单变量回归引入，再sigmoid/RELU拟合函数从而一步步到深度学习的框架，介绍的非常巧妙。尤其在sigmoid/RELU拟合函数那里，听了之后很有收获。老师在引入的例子中用的x表示的是前几天的数据关系，不过我理解的时候还是觉得用特征来理解好不少。tolearnmore——backpropagation就

featurescalingw1和w2发生同等的变化，因为x2很大，x1很小，所以w2对结果影响较大，loss在w2方向上斜率较大，w1对结果影响较小，loss在w1方向上斜率较小如果进行featurescaling，使得x1和x2有相同的变化范围loss就是正圆形的好处：featurescaling之前，learningrate在不同方向上不同，要在w1方向上有较大的learningrate，在

批次标准化（BatchNormalization）也是训练神经网络的一个tip。复杂的errorsurface：不同的dimension的数值范围相差很大，要将这些数值范围变得相同，将errorsurface变得比较简单。featurenormalization在深度学习中，对z也要做featurenormalization，当network很大时，可以考虑为一个batch，只在一个batch做f

总结前言这是我在Datawhale组队学习李宏毅机器学习的记录，既作为我学习过程中的一些记录，也供同好们一起交流研究，之后还会继续更新相关内容的博客。Cha

1.局部最小值和鞍点（LocalMinimumAndSaddlePoint）这一小节的部分属于Optimization，因此只讨论对于gradientdescent的情况。我们在Optimization的时候，总会发现一个问题，就是说随着你的数据的updata，loss并没有达到你的预期。通俗的来说就是loss的降不下去。过去常见的一个猜想,是因为我们现在走到了一个地方，这个地方参数对loss的微

本节一开始是讲解了关于以后作业的内容，再次不做过多的说明。目录Lossontrainingdata——large1.modelbias2.optimization3.Solution1.Gainingtheinsightsfromcomparison2.Startfromshallowernetworks(orothermodels),whichareeasiertotrain.3.Ifdeepe

BatchNormalization详细可见paper《BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternetCovariateShift》，2015FeatureScaling（特征缩放）/FeatureNormalization（引言）Makedifferentfeatureshavethesamescaling

摘要：这节课学习了迁移学习，简单来说，就是用一些与目标数据没有直接联系的数据，进行神经网络的训练，这种方法弥补了一般情况下训练神经网络，目标数据缺乏的缺陷。这节课中，与目标数据没有直接联系的数据叫做sourcedata根据sourcedata和targetdata有无label，将迁移学习分为四个大类，这节课主要学习了其中两个大类。对于targetdata和sourcedata都是labeled的

一、transferlearningtargetdata：现在要考虑的task直接相关。sourcedata：和现在要考虑的task没有直接关系。四种可能：有label和无label。二、fine-tuningtargetdata和sourcedata同时都有label。targetdata量非常少（叫做one-shotlearning），sourcedata很多。某个人的语音很少。用source

代码：李宏毅机器学习作业11——TransferLearning，DomainAdversarialTraining_iwill323的博客-CSDN博客目录domainshift（域的转变）问题出现的原因类型

TransferLearning1.transferlearning可以分为四大类（不同的文件上有不同的称呼）：ModelFine-tuning、MultitaskLearning（sourcelabeledandtargetlabeled），Domain-adversarialtraining、Zero-shotlearning（sourcelabeledandtargetunlabeled），

Desc作业内容：迁移学习-对抗性训练(DomainAdversarialTraining)。datasetsourcedata:真实照片，targetdata:手画涂鸦。location:‘data/data58171/real_or_drawing.zip’Training:5000张真实图片+label,32x32RGBTesting:100000张手绘图片，28x28GrayScaleLa

DomainAdversarialTraining见：李宏毅机器学习——领域适应DomainAdaptation_iwill323的博客-CSDN博客_领域适应迁移学习参见2022CS231nPPT笔记

目录摘要IntroductionMetaLearning的建模思路第一步第二步第三步TechniquesTodayMAMLMAMLvsModelPre-trainingReptileMAMLvsModelPre-trainingvsReptile结论与展望摘要元学习的训练样本和测试样本都是基于任务的。通过不同类型的任务训练模型，更新模型参数，掌握学习技巧，然后举一反三，更好地学习其他的任务。传统的

目录摘要1.UnsupervisedConditionGAN2.UnsupervisedConditionalGeneration2.1DirectTransformation2.1.1利用判别网络2.1.2利用预训练网络2.1.3CycleGAN2.2ProjectiontoCommonSpace2.2.1共享参数2.2.2增加判别网络2.2.3ComboGAN(CycleConsistency

截图来自李宏毅2020机器学习深度学习。有监督学习supervisedlearning需要提供一些有目标值的数据给机器去学习。用loss来判断函数的好坏，loss越小函数越符合我们的期待。reinforcementlearning强化学习，机器自主进行学习。（AlphaGo是supervisedlearning+reinforcementlearning）unsupervisedlearning无

文章目录一、FrameworkofML二、GeneralGuide三、Modelbias四、OptimizationIssue五、Overfitting六、CrossValidation七、N-foldCrossValidation八、Mismatch一、FrameworkofML1）给你一堆训练的资料，这些训练资料里面中包含n个x和跟它对应的ŷ，测试集是你只有x，没有ŷ。2）这里的好几个案例其实

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：屈太国，湖南大学，Datawhale优秀学习者本文来自李宏毅机器学习笔记（LeeML-Notes）组队学习

摘要：这节课主要学习了GAN背后的理论知识，主要是原理和数学推导。由于GAN是两部分组成的，这节课学习也是分为生成器生成图片的原理与判别器的原理。对生成器而言，想要生成符合要求目标，需要在高维空间中选取出样本的分布情况。将选取的样本通过生成器，得到Pg。希望Pg与目标样本Pdata尽可能接近，这个过程其实就是求这两个分布的KL散度。对于判别器而言，虽然不知道两个分布的具体公式，但是通过分别samp

李宏毅机器学习学习笔记汇总课程链接文章目录ExampleApplicationSlotFilling把词用向量来表示的方法1-of-Nencoding/one-hotBeyond1-of-Nencoding

李宏毅机器学习学习笔记汇总课程链接文章目录LearningTargetLearningUnfortunately基于RNN的的网络不总是容易去学习Theerrorsurfaceisrough.Why？

本系列课程笔记为李宏毅2017,秋，台湾大学课程。视频网址链接：https://www.bilibili.com/video/av15889450?t=10&p=21更新日期：20200211范例SlotFilling参考书推荐：http://www.deeplearningbook.org/

文章目录摘要1RNN2LongShort-termMemory3TrainingRNN3.1LearningTarget3.2优化技术4RNN的应用5结论与展望摘要RecurrentNeuralNetwork(RNN)在DNN的基础上加入了Memory结构以及隐状态，能够处理语义理解、语音辨识等注重序列顺序的问题，也因为Memory结构使得RNN的ErrorSurface变化非常剧烈，所以RNN的

RecurrentNeuralNetwork1.应用实例（为什么需要RNN？）2.RNN基本概念3.LongShort-termMemory(LSTM)4.RNN使用4.1Lossfunction4.2训练方法5.RNN的应用前景小结1.应用实例（为什么需要RNN？）槽位填充通过Feedforward网络解决槽位填充问题？输入：一个单词(每一个词都用一个向量表示)输出：属于槽的输入字的概率分布情况

注：这个是笔者用于期末复习的一个简单笔记，因此难以做到全面详细，有疑问欢迎大家在评论区讨论I.BasicIdea首先引入一个例子，槽填充(SlotFilling)问题：Input：IwouldliketoarriveGuangzhouonNovember2nd.Output：Destination=>Taipei|timeofarrival=>November2nd即需要在输入句子中提取出我们想了

文章目录一、ExampleApplication二、ElmanNetwork&JordanNetwork三、BidirectionalRNN四、LongShort-termMemory（LSTM）五、LSTM–Example六、LearningTarget1.LossFunction2.Training3.Errorsurface七、Why?八、HelpfulTechniques九、MoreApp

2021李宏毅机器学习笔记--9RecurrentNeuralNetwork摘要一、RNN1.1SlotFilling1.2RNN二、DeepRNN三、RNN变型3.1Elmannetwork3.2Jordannetwork3.3bidirectionalRNN

RecurrentNeuralNetwork(RNN)ExampleApplicationSlotFilling智慧订票系统：Howtorepresenteachwordasavector?但是光这样，feedforwardNetwork是无法solve这一问题的，因为他无法区别是leaveTaipei还是arriveTaipei。那我们就希望这个neuronnetwork是有记忆的，即看到过ar

李宏毅2022课程视频全部以线上视频的形式给出（已经全部录好，你可以选择短时间全部学完），上课时间会直播讲解额外的内容（可以不听）和作业（建议一定要做），目前已更新到作业14。第十四课主要内容是LifeLongLearning，神经网络的终身学习。课程介绍了lifelonglearning的研究背景，以及研究难点：解决catastrophicforgetting（灾难性遗忘）。李老师着重解释了Se

李宏毅2022课程视频全部以线上视频的形式给出（已经全部录好，你可以选择短时间全部学完），上课时间会直播讲解额外的内容（可以不听）和作业（建议一定要做），目前已更新到作业9。第九课主要内容是ExplainableAI，深度学习的可解释性。主要介绍了localexplaination和globalexplaination，两种方法分别对单个样本的解释性和模型本身的解释性进行了分析，详细信息见课程视频

文章目录前言一、WhyweneedExplainableML?二、LocalExplanation:ExplaintheDecision1.Whichcomponentiscritical?2.Limitation:NoisyGradient3.Limitation:GradientSaturation4.Howanetworkprocessestheinputdata?三、GlobalExpla

【李宏毅机器学习2021】机器学习模型的可解释性(ExplainableML)_哔哩哔哩_bilibili我们因为神经网络不可解释而不用他吗？

文章目录前言正文定义新模型如何拟合复杂曲线？sigmoid函数本期模型模型总结模型的线性代数表示模型的流程图定义损失函数优化损失函数流程与梯度补充技巧验证结果激活函数进一步改进测试验证遗留问题总结前言这篇文章是李宏毅老师《机器学习2021》第2期视频（链接在这里（需要））的学习笔记。上期有一个错误，在机器学习第二步中，我说视频是2022年，其实是2021年的，不过应该并不影响理解。正文第2期视频，

这里是李宏毅机器学习2021笔记self-attention的下篇。如果没看过上篇，可以先看上篇李宏毅机器学习2020笔记-—self-attention（上）。学习本节内容，需要一定的基础知识储备。

李宏毅机器学习2021学习笔记（2）：SelfAttention1.特点  传统机器学习深度学习任务一般为分类或者回归（输入为一个向量，输出为一个结果），而SelfAttention有更复杂的输入输出，

前言本文主要记录关于李宏毅机器学习2021中HW3和HW4的卷积神经网络和自注意力机制网络部分的笔记，主要介绍了CNN在图像领域的作用及如何处理图像数据，Self-Attention在NLP(自然语言处理

文章目录一、SophisticatedInput二、VectorSetasInput三、Whatistheoutput?四、SequenceLabeling五、Self-attention六、Self-attention七、Multi-headSelf-attention八、PositionalEncoding九、Manyapplications1.Self-attentionforSpeech2

sophisticatedInput到目前為止我们的Network的Input都是一个向量不管是在预测这个,YouTube观看人数的问题上啊,还是影像处理上啊,我们的输入都可以看作是一个向量，然后我们的输出，可能是一个数值,这个是Regression,可能是一个类别,这是Classification但假设我们遇到更復杂的问题呢,假设我们说输入是多个向量，而且这个输入的向量的数目是会改变的呢我们刚才

目录1.1self-attention-过程实现1.2Self-attention中的并行运算1.3Multi-headSelf-attention1.4PositionEncoding1.5Self-attentionforImage1.6Self-attentionvsCNN1.1self-attention-过程实现q表示queryk表示keyv表示information第一步：由a得到a^

【李宏毅机器学习2021】本系列是针对datawhale《李宏毅机器学习-202210月》的学习笔记。本次是对深度学习中self-attention算法的学习总结。