学习教程来源于《手把手教你GEO数据库差异基因分析》本次学习笔记内容为通过GEO2R在线工具进行差异基因分析通过了解，个人觉得这个方法相比R语言的优势是更普适性，以及更加“傻瓜”，方便学不明白R语言的同学。第一步：同R语言，找到相关的数据集第二步：点进页面详情，进行GEO2R在线分析第三步：选择分组信息，点击分析第四步：下载数据，得到差异基因数据集，如果仅得到差异基因即可，可不进行后续操作。第五步

一、数据清洗1.数据缺失：①忽视（删除）仅占比较小（2-3%）时可用②填充——固定填充；根据经验、样本猜测2.离群点（正常）V.S.异常点离群点是相对概念（根据平均距离算）3.重复数据①使用滑动窗口，窗口内两两比较（假设：高度疑似的数据是紧挨的→生成KEY（根据相关知识），按key排序）二、数据转换1.类型转换2.标准化（编码化，需要注意非顺序类的编码化，如果默认按0、1、2编码，则暗含了距离的属

数据挖掘是一个动态、强势快速扩展的领域。数据挖掘研究的主要问题，可划分为五组：挖掘方法、用户交互、有效性与可伸缩性、数据类型的多样性、数据挖掘与社会。一、挖掘方法目前大牛们已经开发了一些数据挖掘方法，涉及到新的知识类型的研究、多维空间挖掘、集成其他领域的方法以及数据对象之间语义捆绑考虑。此外，数据挖掘应该考虑诸如数据的不确定性、噪声和不完全性等问题。有些数据挖掘方法探索如何使用用户指定的度量评估所

决策树从数据中产生决策树的数据学习称为决策数学习,简称决策数.决策树是数据挖掘中最常用的一种分类和预测技术,使用其可建立分类和预测模型;它的形状如同一棵树,每个节点对于与对象的某个属性,每个分支对应这个属性的某个可能取值,每个叶节点表示经历从根节点到该叶节点这条路径上的对象的值;决策树模型(图片来自于网络)决策树算法的关键技术决策树算法中有以下三项关键技术:1.选择最能区别数据集中实例属性的方法2

数据挖掘相关概念当被存储在本地时的数据称作数据，当把数据经过加工处理，它们转变成了有用的信息。如果信息经过合理的组合能够产生价值，特别是商业价值，此时就可以称其为知识。数据挖掘的过程就是数据加工处理变成信息，最后转化为知识的过程。数据挖掘的一些主要工具：商用的MATLAB、IBMIntelligentMiner、SASEnterpriseMiner、SPSSClementine和开源工具Weka。

为何选择余弦度量相似性：定义余弦相似性(余弦相似度)：通过计算两个向量的夹角余弦值来评估他们的相似性。令x，y是两个待比较的向量，使用余弦度量作为相似性函数：其中，是向量的欧几里得范数，定义为，从概念上讲，就是向量x的长度。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的

一、数据挖掘教材：1.数据挖掘概念/技术（黑书）2.模式分类3.美丽数据（实际案例）二、国际会议：ICDMICMEICMLPCKDDACKDD三、期刊：TKDE（数据工程上的技术和知识）NNLS（神经网络和学习系统）四、公共数据集：UCI五、数据挖掘软件：weka（开源）数据挖掘前：数据预处理——数据清洗（填充、剔除无效数据）、数据类型转换、标准化数据挖掘后：数据、结论可视化：利用软件（群友推荐o

数据挖掘数据挖掘学习笔记——GEO数据库：芯片数据分析文章目录数据挖掘一、芯片基础知识1.1、背景二、GEO数据库概述2.1、基础简介2.2、检索页面展示三、GSE项目的三种下载方式3.1、主页下载原始数据

数据挖掘体系介绍数据挖掘是什么？什么是数据挖掘，简而言之，对数据进行挖掘，从中提取出有效的信息。一般我们会把这种信息通过概念、规则、规律、模式等有组织的方式展示出来，形成所谓的知识。特别是在这个大数据时代，当数据多到一定程度，统计学原理会让一些内在的、不易察觉的规律慢慢放大、展示出来，而数据挖掘，就是希望在这种大数据背景下，以一种更加高效的方式，找到这些潜在的规律。光有数据是不够的，只有形成知识，

一、相关理论：KNN算法，又叫邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。KNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依

#2018-04-0516:57:26AprilThursdaythe14week,the095daySZSSMRpython数据挖掘学习笔记】十九.鸢尾花数据集可视化、线性回归、决策树花样分析1.鸢尾花数据集可视化分析

数据挖掘——算法前言分类算法KNN算法决策树朴素贝叶斯支持向量机人工神经网络实践1：使用XGB是实现酒店信息消歧聚类算法K-meansDBScan实践2：使用word2vec和k-means聚类回归算法线性回归和逻辑回归实践3：线性回归预测房价关联分析Apriori与FP-Growth前言笔记来源于系统学习以下课程：B站最完整系统的Python数据分析-数据挖掘教程，72小时带你快速入门，轻松转行

从图书馆借了一本有关于使用Python进行数据挖掘的书，是机械工业出版社出版的由张良均写的一本书，拿来作为入门，今天在学习使用Pandas模块时耗费了比较久的时间，记录一下今天的心得和体会。书中有一道题目是基于给定的数据集，完成一系列操作：1.判断第一列中(Id)是否有缺失值，如果有的话补充完整；2.判断是否有重复记录，如果有，删除至唯一。3.计算成绩的平均值，作为新的一列加入到原始数据框中。4.

第一章python基础1.4python基本数据类型#1.41数值类型int,float,bool#1.42字符串strs1='abcd's2='''abcd'''1.4.3列表ListL1=[1,'a1',2,'aa']#[1,'a1',2,'aa']1.4.4元组Tuple处在元组中的元素不能修改T1=(1,'a1')T1=(1,'C1','A1')#(1,'C1','A1')T1[1]=2#

第四章神经网络NetralNetworksBiologicalMotivation例子Perceprons感知积PowerofPerceprons实现一些逻辑上的功能GradientDescent根据误差来调整权重DeltaRuleBatchLearningStochasticLearning感知积可以用来解决线性分类问题，线性分类器。不能解决线性不可分问题比如：NANDMultilayerper

一、感知机（单层神经网络）采用梯度下降（gradientdescend）方法进行训练，wi=wi-ηΣ（t-o）xi单层神经网络无法处理线性不可分问题（如异或）二、多层感知机（带隐含层神经网络）通过将输入映射到隐含层，将线性不可分问题化简为线性可分问题，再用线性决策平面划分，以此解决线性不可分问题。训练方法为backpropagation（反向传播），输出层的权重w由于误差已知，可简便算出wi=w

一、基于内容的推荐（根据商品内容进行推荐）二、协同推荐（根据用户的好友评价进行推荐）tf-idf：tf——termfrequency词频频率idf——inversedocumentfrequency在其他文档中出现的频率三、向量空间模型将文档转换为向量，两篇文档的相似度就可以用向量的夹角余弦表示（1的时候相似度最大，0的时候相似度最小）难点：同义词、多义词难以识别解决方法：做矩阵分解，类似pca，

一、朴素贝叶斯贝叶斯的基础上增加了一个强假设：在y发生的条件下，各特征发生的概率独立（条件独立）即将联合条件概率转换为各条件概率的连乘积二、决策树特点是容易解读，用属性将样本层层分类，直到样本被完全分离或属性用完。ID3：把大信息增益（为防止将生日、身份证号这类过学习属性，增加分类数量惩罚项）的属性用在树根，递归实现决策树。为防止过学习，决策树还有修剪的过程（从树梢开始，将叶节点数量大的样本值赋给

python数据挖掘学习笔记岭回归可视化方法确定λ的值交叉验证法确定λ值模型的预测lasso回归可视化处理交叉验证法确定λ模型的预测众所周知，当数据具有较强的多重共线性的时候便无法使用普通的多元线性回归

Logistic逻辑回归分析logistic模型的基本介绍python中实现logistic回归模型的评价混淆矩阵ROC曲线，AUC值Logistic模型是经典的用于分类问题的模型，通常用于判断一件事物的好坏或将其分类。本文着重介绍logistic模型的在二分类上的应用，对于数学的推导证明则省略，logistic模型还有很多拓展的使用，如正则化、通过惩罚项调整系数等都值得学习研究，但本文不做赘述只

目录K-means(K-均值算法)算法背景什么是k-means算法?K-means算法的核心目标?K-means算法工作流程K-means实例K-means总结K-means算法python实现K-means(K-均值算法)算法背景K-means聚类算法由J.B.MacQueen在1967年提出，是最为经典也是使用最为广泛的一种基于划分的聚类算法，属于基于距离的聚类算法。基于距离的聚类算法是指采用

数据挖掘前言数据挖掘01——什么是数据挖掘，能解决什么问题数据挖掘02——Python的数据结构和基本用法数据挖掘03——工欲善其事必先利其器扩展包与Python环境数据挖掘04——数据学习网站数据挖掘05——数据挖掘的具体步骤数据挖掘06——如何处理出完整干净的数据？数据挖掘07——数据建模：该如何选择一个适合我需求的算法？数据挖掘08——数据评估：如何确认我们的模型已经达标？数据挖掘09——数

目录1.算法伪代码2.算法代码3.测试数据4.结果1.算法伪代码输入：事务数据库D；最小支持度阈值。输出：D中的频繁项集L。方法：L1=find_frequent_1_itemsets(D);//找出频繁1-项集的集合L1for(k=2;Lk-1≠∅;k++){//产生候选，并剪枝Ck=aproiri_gen(Lk-1,min_sup);foreachtransactiont∈D{//扫描D进行候

目录1.算法伪代码2.算法代码3.测试数据4.结果1.算法伪代码输入：D：事务数据库。min_sup：最小支持度阈值。输出：频繁模式的完全集。方法：1.按照以下步骤构造FP树：（a）扫描事务数据库D一次。收集频繁项的集合F和他们的支持度。对F按照支持度计数降序排序，结果为频繁项集L。（b）创建FP树的根节点，以“null”标记它。对于D中每一个事务trans，执行：选择trans中的频繁项集，并且

全部流程来自：GEO数据库挖掘—生信技能树B站视频，建议去看原文！第一步：找到相关的GEO数据集（文献/搜索），以胃癌gastriccancer为例可去文献中查找，用于练习第二步：运行R包GEOquery获取数据（非常看网速，尽量下载下一点的包）library(GEOquery)eSetsymbolID/entrezID#分两步走：过滤probe_id，得到每个基因所对应的唯一的probe_id得

关联规则关联规则的一般表现为蕴含式规则形式:X—>Y其中的X为前提或先导条件,Y为结果或后继关联规则与传统的用于分类的产生式规则有两点不同:1)在某条关联规则中以前提条件出现的属性可以出现在下一条关联规则的结果中2)传统的用于分类的产生式规则的结果中仅能有一个属性,而关联规则中则允许其结果包含一个或多个属性置信度和支持度(1)使用置信度来度量每个关联规则在前提条件下结果发生的可能性置信度:(2)使

数据挖掘学习笔记二数据仓库中的ETLETL作用：是数据仓库获得高质量的数据的环节。解决数据分散问题。解决数据不清洁问题。方便企业各部门构筑数据集市。

数据分析与数据挖掘的方法1.频繁模式频繁模式：数据中频繁出现的模式。频繁项集：频繁在事务数据集中一起出现的商品集合。例如，信用卡分析、患者就诊分析、购物车分析…2.分类与回归分类与标签预测是找出描述和区分数据类或概念的模型或函数，以便能够使用模型预测类标识未知的对象的类标号。分类预测类别（离散的、无序的）标号，回归建立连续值函数模型，也就是用来预测缺失的或难以获得的数值数据值。典型方法：决策树、朴

第二章数据数据预处理是数据挖掘过程的第一个主要步骤，了解数据才能为分析与挖掘做好预处理。数据的属性：数据值类型数据的分布图形表示形式数据的相似性与相异性数据的属性1.数据对象数据集由数据对象组成。一个数据对象代表一个实体。例如：销售数据库：顾客、商品、销售医疗数据库：患者、医生、诊断治疗大学生数据库：学生、教授、课程数据对象又称为样本、实例、数据点、对象或元组。数据对象用属性描述。数据表的行对应数

一、特征与分类特征作用数据库通常存放大量的细节数据。然而，用户通常希望以简洁的描述形式观察汇总的数据集提供一类数据的概貌，或将它与对比类相区别方便、灵活地以不同的粒度和从不同的角度描述数据集概念描述方法数据泛化解析特征挖掘类比较数据泛化数据泛化是一个过程，它将大的、任务相关的数据集从较低的概念层抽象到较高的概念层解析特征–通过属性相关性分析，过滤掉统计不相关或弱相关的属性，保留与挖掘任务最相关的属

用户画像百度百科用户画像又称用户角色，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。我们在实际操作的过程中往往会以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。作为实际用户的虚拟代表，用户画像所形成的用户角色并不是脱离产品和市场之外所构建出来的，形成的用户角色需要有代表性能代表产品的主要受众和目标群体。建立用户画像要贴标签，先有数据

聚类（clustering）是将物理或抽象对象的集合分成相似的对象类或簇的过程，是无监督学习【unsupervisedlearning】。--基于划分k-means基本K均值方法方法：1.选择K个点作为初始质心2.repeat3.将每个点指派到最近的质心，形成K个簇4.重新计算每个簇的质心5.until质心不再发生变化优点：聚类快缺点：a.常终止于局部最优b.只适用于数值属性聚类c.对噪声和异常值

不多说，上码#col“填充列向量”、nv“空值值，默认-1”、k“拉格朗日区间，默认3”deffillNanWithLagr(col,nv=-1,k=3):#获取空值位置tar=map(int,col[col==nv].index.tolist())foridxintar:#获取拉格朗日区间#这里去除了空值位置，因为不可用填充后的空值计算其他的空值rel=col[list(set(list(ran

一、相关原理Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使用第1步找到

一、相关原理FP-Growth算法是韩嘉炜等人在2000年提出的关联分析算法，它采取如下分治策略：将提供频繁项集的数据库压缩到一棵频繁模式树（FP-tree），但仍保留项集关联信息。在算法中使用了一种称为频繁模式树（FrequentPatternTree）的数据结构。FP-tree是一种特殊的前缀树，由频繁项头表和项前缀树构成。FP-Growth算法基于以上的结构加快整个挖掘过程。FP-growt

一、相关原理决策树(DecisionTree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy=系统的凌乱程度，使用算法ID3、C4.5和

关于使用Python进行文本相似度分析，网上的相关博客已经非常多了，因此本文仅进行简单的讲解，直接上代码，方便不想过多理解概念即要实现文本相似度分析的网友使用。一、相关理论：语料库的定义：https://baike.baidu.com/item/语料库/11029908?fr=aladdin稀疏向量的定义：https://baike.baidu.com/item/稀疏向量TF-IDF算法：可参考h

python数据挖掘学习笔记1.python基础知识；2.python爬虫技术；3.python数据分析与数据挖掘。

由于本人这段时间在学习数据挖掘的知识，学习了人工神经网络刚好就把学习的一些笔记弄出来，也为以后自己回头看的时候方便些。神经网络学习方法对于逼近实数值、离散值或向量值的目标函数提供了一种健壮性很强的方法。对于某些类型的问题，如学习解释复杂的现实世界中的传感器数据，人工神经网络是目前知道的最有效学习方法。人工神经网络的研究在一定程度上受到了生物学的启发，因为生物的学习系统是由相互连接的神经元（neur

一、基本概念频繁模式–频繁的出现在数据集中的模式–项集、子序或者子结构动机–发现数据中蕴含的事物的内在规律•项(Item)–最小的处理单位–例如：Bread,Milk•事务(Transaction)–由事务号和项集组成–例如：•事务数据库–由多个事务组成•项集(Itemset)–一个或多个项(item)的集•例如：{Milk,Bread,Diaper}–k-项集(k-itemset)•包含k个项的

数据预处理概述数据预处理datapreprocessing–在主要的处理以前对数据进行的一些处理–现实世界的数据通常无法直接进行数据挖掘，或挖掘结果差强人意，为了提高数据挖掘的质量需要对现实数据进行处理数据预处理形式其他可能需要数据预处理的情况–数据的压缩存储–数据形式的转换–数据内容的筛选和梳理例子预处理方法★数据清理数据集成与变换数据归约离散化和概念分层1、数据清理现实世界的数据一般是脏的、不

亲和性分析示例:根据购买商品习惯推荐商品本片文章主要是学习笔记分享先做一个自我的简单介绍,本人在IT这个行业的底子非常薄,之前学习过java但是因为学历的问题找了很久没有找到java开发的工作,面对当时的现实问题放弃了继续找java开发工作,这件事情对于我个人还是有影响和压力的,但是内心中并没有放弃写代码,当一个正规程序员的理想,正好我现在工作是数据分析师,但我想说没有灵魂的数据分析师不是一个好厨

Datawhale零基础入门数据挖掘学习笔记-Task3特征工程  之前的应用中，把数据塞进模型前的部分统统简单粗暴地称之为“洗数据”。在这次的学习中，初步接触了“探索性学习”和“特征工程”两个概念。

1、决策树算法原理&主要流程框架决策树方法在分类、决策、规则提取等领域有着广泛的应用。决策树是一种树状结构，其中包含三种节点：根节点：没有入边，但有零条或多条出边。内部节点：恰有一条入边和两条或多条出边。叶节点：恰有一条入边，但没有出边。也就是说每一个叶节点对应着一个分类，非叶节点对应着某个属性上的划分。构造决策树的核心问题是在每一步如何选择适当的属性对样本做拆分。常用的决策树算法有ID3算法、C

目录一、通俗理解决策树算法原理二、举例说明算法执行过程三、Java实现本文基于书籍《数据挖掘概念与技术》，由于刚接触DataMining，所以可能有理解不到位的情况，记录学习笔记，提升自己对算法的理解。代码下方有，如果有金币的童鞋可以贡献一下给无耻的我一枚:代码传送门:http://download.csdn.net/detail/adiaixin123456/9416398一、通俗理解决策树算法

一、准备阶段：（1）打开cmd，pip安装jieba（pipinstalljieba）（2）打开python安装目录的Lib->site-packages->jieba，打开dict.txt，可以看到这是jieba模块的词典：每三个为一组，分别是：词、词频、词性，关于词性的对照表见附录。二、编写代码：1、准备阶段：importjieba#导入模块#创建用于分词的文本sentence="我喜欢上海东

#2018-04-0516:57:26AprilThursdaythe14week,the095daySZSSMRpython数据挖掘学习笔记】十九.鸢尾花数据集可视化、线性回归、决策树花样分析1.鸢尾花数据集可视化分析

所以这篇文章主要讲述逻辑回归及Sklearn机器学习包中的LogisticRegression算法#2018-03-2816:57:56MarchWednesdaythe13week,the087daySZSSMRpython数据挖掘学习笔记

#2018-03-2810:02:08MarchWednesdaythe13week,the087daySZSSMRpython数据挖掘学习笔记】十四.Scipy调用curve_fit实现曲线拟合一.Scipy

#2018-03-2809:59:40MarchWednesdaythe13week,the087daySZSSMR11,12因为涉及到数据库被我暂时放弃了python数据挖掘学习笔记】十三.WordCloud