数据分析学习

数据分析学习总结笔记16：NLP自然语言处理与文本探索性分析

文章目录1引言2数据集3文本统计信息分析4Ngram模型探索5基于pyLDAvis的主题模型探索6绘制词云图7情感分析7.1TextBlob7.2VaderSentimentAnalysis8命名实体识别NER9词性标签探索分析10文本可读性分析11结语1引言探索性数据分析是所有机器学习工作流程中最重要的部分之一，自然语言处理也不例外。但是应该选择哪些工具来进行有效地探索，及对文本数据进行可视化呢
Lynn Wen·2020-07-15 07:42

数据分析学习总结笔记14：A/B Test及Python实现

文章目录1引言2A/BTest的必要性3统计形式主义的必要性4假设检验入门4.1z检验评估平均花费时间4.2z检验评估平均花费时间4.3Z检验评估转化率5总结1引言A/BTest，又称为对比测试，指的是一种实验技术，以确定根据一个选定的指标，新的设计是否带来改进。在Web分析和UI用户体验中，这个想法是通过随机分割流量并比较每个分割点的指标，来比较现有网站(a)和新网站(b)的区别。举个例子说明：
Lynn Wen·2020-07-15 07:42

数据分析学习总结笔记10：网络分析

数据分析学习总结笔记10：网络分析1网络分析概述1.1三大社会科学理论1.2网络分析内容2网络的基本概念与特征量2.1网络的发展2.2网络的表达形式2.3网络基本概念与特征量2.3.1网络整体指标2.3.2
Lynn Wen·2020-07-15 07:42

数据分析学习总结笔记07：方差分析

数据分析学习总结笔记07：方差分析1方差分析概述1.1方差分析简介1.2方差分析基本思想和原理1.3方差分析的基本假设2单因素方差分析（One-wayANOVA）2.1单因素方差分析概念2.2单因素方差分析的原理
Lynn Wen·2020-07-15 07:10

数据分析学习总结笔记07：回归分析概述

数据分析学习总结笔记07：回归分析概述1什么是回归分析1.1回归分析概述1.2“回归”的由来1.3回归分析归纳1.3.1回归分析的主要内容1.3.2回归分析的一般模型2统计学中的回归模型2.1相关分析与回归分析
Lynn Wen·2020-07-15 07:10

数据分析学习总结笔记08：数据分类典型方法及其R语言实现

数据分析学习总结笔记08：数据分类典型方法及其R语言操作1判别分析1.1判别分析简介1.1.1判别分析概念1.1.2判别分析的种类1.2距离判别法1.2.1两总体距离判别1.2.2多总体距离判别1.3Fisher
Lynn Wen·2020-07-15 07:10

数据分析学习总结笔记09：文本分析

数据分析学习总结笔记09：文本分析1文本分析1.1文本分析概述1.2结构/非结构化数据1.3文本数据特点1.4自然语言处理——NLP1.5文本挖掘的应用2文本分词2.1英文分词——KNIME2.2中文分词
Lynn Wen·2020-07-15 07:10

数据分析学习总结笔记04：异常值处理

数据分析学习总结笔记04：异常值处理1异常值概述2如何判断异常值2.1简单的统计分析2.23δ原则2.3四分位数检验/箱型图分析2.4格拉布斯检验2.5基于模型检测2.6基于距离检测2.7基于密度检测3
Lynn Wen·2020-07-15 07:09

数据分析学习总结笔记03：数据降维经典方法

数据分析学习总结笔记03：数据降维经典方法1.数据降维概述2.数据降维的应用3.数据降维经典方法3.1主成分分析（PCA）3.1.1PCA概述3.1.2PCA原理3.1.3PCA&LDA3.1.4基于标准化变量的主成分分析
Lynn Wen·2020-07-15 07:09

数据分析学习总结笔记05：缺失值分析及处理

数据分析学习总结笔记05：缺失值分析及处理1缺失值概念2缺失值分析的类别2.1按数据缺失形式划分2.2按缺失机制与方式划分3缺失值的处理方法3.1删除缺失值3.2缺失值替代3.3缺失值分析1缺失值概念在数据收集过程中
Lynn Wen·2020-07-15 07:09

《利用Python进行数据分析学习笔记》学习笔记（三）

1.工具和环境语言：python3.6系统：win764位数据库：MongoDBIDE：IPythonnotebook2.数据加载、存储与文件格式pandas提供了一些用于将表格型数据读取为DataFrame对象的函数。首先看一个以逗号分隔的CSV文本文件：!typeuser_info.csv#如果是UNIX系统，要把'!type'改成'!cat',用户,粉丝,答题,专栏文章,个人简介0,张佳玮,
卜地锦·2020-07-15 00:32

kaggle的房价预测居然被刷到了0.0？

现在kaggle已经成为机器学习爱好者和学习者的必逛网站，上面有许多非常优秀的kernel和文章，能够帮助机器学习和数据分析学习者快速成长。
修炼之路·2020-07-14 22:03

零基础的小白怎么学习数据分析？

微信公众号：「Python读财」如有问题或建议，请公众号留言作为一个从超级菜鸟阶段过来的人，也曾迷茫，也曾面对一大堆资料不知所措，从无到有踩过太多的坑，在这里分享一下我总结出来的数据分析学习路径，为了让你少走弯路
易执·2020-07-14 19:47

数据分析学习笔记8

推荐系统1、协同过滤–找出电影的相似度2、基于项目的协同过滤应用–向人们推荐电影#读入数据importpandasaspdr_cols=['user_id','movie_id','rating']ratings=pd.read_csv('./u.data',sep='\\t',names=r_cols,usecols=range(3),encoding="ISO-8859-1")#我们只使用文件
灯下夜无眠·2020-07-14 11:18

数据分析学习总结笔记17：文本分析入门案例实战

文章目录1数据准备2分词3统计词频4词云5提取特征6用sklearn进行训练1数据准备数据样例如下，数据总量为7.7万+：本节通过一个实战的例子来展示文本分析的最简单流程。首先设定因变量为原始数据中的"评分"。自变量是"评价内容"，这里根据评价内容提取TF-IDF特征。之后，通过评价内容的特征建模预测下整体评分。importjieba#导入分词模块importpandasaspd#导入Pandas
Lynn Wen·2020-07-14 03:50

数据分析学习Day6---数据可视化（经典图表）

Excel图表思维指南只针对Excel数据的基础概念维度数据分析中经常会提及维度。维度是观察数据的角度和对数据的描述。我们可以说地区是一种维度，这个维度包含上海北京这些城市。也可以认为销售额是一个维度，里面有各类销售数据。维度可以用时间、数值表示，也可以用文本，文本常作为类别。数据分析的本质是各种维度的组合，我想了解和分析全国各地的销售额，就需要将地区维度和销售维度结合，如果想知道各个年份的变化，
ghostdogss·2020-07-13 13:17

神经影像（核磁共振）概念及数据分析学习

一、神经影像数据是什么？以前的医生检查人有没有病，可以看气色，有没有外伤，有没有鼻歪眼斜，口角流涎之类的现象，然后再把个脉，根据心跳和气运行的顺畅来判断身体哪里出现了问题。但是这些方法难以得到直观的身体内部的情况。毕竟不是人人都像尝百草的神农有一个透明的肚子。后来人们发现，通过声波或者光波透过不同物体后消减或反射回来的量的不同可以区分不同的物体。于是一些隔墙观物的影像学技术就得到了发展。而神经影像
Iris_bysshqx17·2020-07-13 00:28

Numpy 的核心数据结构ndarray多维数组

python高级应用与数据分析学习笔记07#-*-coding:utf-8-*-importnumpyasnp"""-------------------------------------------
追梦小乐·2020-07-13 00:26

数据分析学习班总结2019.12.08-2019.12.15

本周学习了Python语言的基础语法，现在总结一下学习的内容变量和简单数据类型Python变量主要用来存储和访问内存空间内的数据，变量的命名需要满足以下条件：变量名有数字，字母和下划线组成变量名的首字母不能是数字不能与关键字和函数名重名变量名命名时应该尽量简短又具有描述性，当含有两个或多个单词可以使用下划线连接单词或者使用驼峰命名法，其中小驼峰为第一个单词首字母小写，之后的单词首字母大写，大驼峰则
逍遥叹_5e9a·2020-07-12 22:33

2019-11-04 记录CNV数据分析学习（一）

真是应了那句话，有压力才会有动力。由于课题需求最近需要分析一些芯片的数据（GSE60607，GSE93004，GSE34459）然后一查发现有些原始不仅数据量大，而且还是分析CNV，相关方法都不熟悉，不过对于已经跟随生信技能树的大神团队学习了近2个月的生信基础课的我来说还是可以挑战一下的。第一个问题通过求助曾老师已经完成，30多个G的rawdata已经备齐，下一步就是找方法去分析了。第一步查找背景
程凉皮儿·2020-07-12 21:58

数据分析学习之时间序列(2)-数据的重采样

重采样重采样：指的是将时间序列从一个频率转化为另一个频率进行处理的过程，将高频率数据转化为低频率数据为降采样，低频率转化为高频率为升采样。降采样t=pd.DataFrame(np.random.uniform(10,50,(100,1)),index=pd.date_range('20170101',periods=100))t02017-01-0142.0093202017-01-0227.03
菜鸟不太菜·2020-07-12 14:37

成为合格的数据分析师，从了解行业开始

数据分析学习的内容只多不少。说起数据分析师，可以称之为行业的IT农民工，也可被冠以IT界的行业咨询光环。在我看来，他更像是拥有扎实IT技术和宽阔行业视角的分析掌舵师。
帆软·2020-07-12 07:40

数据分析学习笔记（六）-- 随机漫步

该例子通过模拟一些随机数，完成简单的数理统计工作，作为后期数据分析的一次体验随机漫步：随机产生1或-1随机数，模仿一个人前进或者后退在此环境下，进行一些统计工作随机漫步首页做一些准备工作importnumpyasnp#导入随机数库#漫步次数num=1000产生所需要的一些随机数#产生n次漫步的情况，此时数据为0或者1draws=np.random.randint(0,2,size=num)#将数据
小白进城·2020-07-11 20:15

【数据分析学习笔记day28】自然语言处理NLTK+jieba分词+jieba分词的基本思路+案例+流程介绍

文章目录jieba分词jieba分词jieba分词的基本思路案例：流程介绍jieba分词jieba分词jieba分词是python写成的一个算是工业界的分词开源库，其github地址为：https://github.com/fxsjy/jieba，在Python里的安装方式：pipinstalljieba简单示例：importjiebaasjbseg_list=jb.cut("我来到北京清华大学"
汪雯琦·2020-07-11 17:23

利用python进行数据分析学习笔记(数据规整：聚合、合并和重塑)

层次化索引data=pd.Series(np.random.randn(9),index=[['a','a','a','b','b','c','c','d','d'],[1,2,3,1,3,1,2,2,3]])data.index创建一个Series，通过index属性可以获取其索引。使用索引和切片选择层次化Series的数据。选择第一层的索引b切片选择索引b-c通过loc选择索引b、c选择第一层
能思想的苇草2·2020-07-11 09:49

利用python进行数据分析学习笔记(绘图和可视化)

matplotlibAPI入门引入matplotlibimportmatplotlib.pyplotasplt创建一个简单的图形data=np.arange(10)plt.plot(data)Figure和Subplotmatplotlib的图像都位于Figure对象中，可以用plt.figure创建一个新的Figure。fig=plt.figure()fig.show()弹出空白窗口。不能直接用
能思想的苇草2·2020-07-11 09:16

利用python进行数据分析学习笔记1(数据清洗和准备)

处理缺失数据创建一个含缺失值的Seriesstring_data=pd.Series(['aardvark','artichoke',np.nan,'avocado'])string_data.isnull()通过isnull方法返回一个布尔型Series，缺失值显示为True。通过索引可以将非缺失值设置为缺失值string_data[0]=None处理缺失数据的函数dropna，除去缺失数据fi
能思想的苇草2·2020-07-11 09:16

数据分析学习笔记3

线性回归模型与不服从正太分布时的t检验1、线性回归模型#简单线性回归模型sns.lmplot(x='Year',y='GDP',data=data,truncate=True)fit=sm.formula.ols('GDP~Year',data=data).fit()#模型拟合fit.params#查看模型参数#多元线性回归模型fit=sm.formula.ols('Profit~RD_Spend
灯下夜无眠·2020-07-09 21:37

Head First 数据分析学习

数据分析HeadFirst分解数据确定->分解->评估->决策实验研究法控制组（对照组）：不做任何处理历史控制法和同期控制法历史控制法使用的是过去的数据，将过去的数据做为控制数据同期控制法与历史控制法相反，控制组和实验组是同时进行的历史控制法不推荐，最好使用同期控制法。实验时要注意混杂因素，要尽可能的减少混杂因素避免的方法：随机选择相似组最优化寻找最大值**目标函数：**c1x1+c2x2=p『p
zxfhahaha·2020-07-09 06:13

干货 | 从零进阶数据分析学习资料汇总(限时福利)

据麦肯锡权威数据报告显示：到2025年中国数据人才缺口或将达到220万。中国商委会数据分析部的统计显示：未来中国基础性数据分析人才的缺口将达到1000万+。如果你是想要入门数据分析的同学；如果你还在徘徊、认为自己数据底子不好难学会；或不知如何系统、快速入门数据分析…不要慌DataScience为你提供实用易上手的入门资料所赠全部为原创内容，告别网络流传的资料模板知识讲解＋案例实操保证学有所得，学有
小詹学 Python·2020-07-08 19:50

回家了，再次开始。反省2017-1-23

1、每天正常至少数据分析学习时间4小时。
片片星·2020-07-08 18:43

为什么学习大数据，大数据专家写给大数据分析学习者的10个理由

下面我们一起来看看大数据专家写给大数据分析学习者的10个理由以上算是关于大数据专家写给大数据分析学习者的10个理由，可见就目前来看，大数据分析工程师算
DemonHunter211·2020-07-07 12:11

利用python进行数据分析学习笔记1(NumPy)

常用模块的命名惯例importnumpyasnpimportmatplotlib.pyplotaspltimportpandasaspdimportseabornassnsimportstatsmodelsassmnumpy基础NumPy的ndarray是一种多维数组对象，创建一个ndarray实例importnumpyasnpdata=np.random.randn(3,5)调用numpy库中的
能思想的苇草2·2020-07-07 11:14

数据分析学习Day8---麦肯锡分析思维

两张在网络上流传甚广的图片：两种思维方式左右两种分析思维的分水岭在于逻辑性。我们看一下代表两种思维的场景。我们12月的销售额度下降，我想是因为年终的影响，我问了几个销售员，他们都说年终生意不太好做，各家都收紧了财务预算，谈下的几家费用也比以前有缩水。我对他们进行了电话拜访，厂家都说经济不景气，希望我们价格方面再放宽点。我们12月的销售额度下降，低于去年同期和今年平均值，可以排除掉大环境的因素。其中
ghostdogss·2020-07-07 06:45

数据分析学习日记 Day4

一、数据源与处理工具我打算使用阿里天池的数据集，由于是初次尝试，最后确定以2000条关于在线商店用户购买情况的数据作为分析对象，工具用微软office的excel。二、数据的预处理（一）数据的清洗1、重复数据的处理①函数法：=COUNTIF(range,criteria)②高级筛选法：选择“将筛选结果复制到其他位置”并在“复制到”那一栏，勾选“选择不重复的记录”③条件格式法：“条件格式”、“突出显
GooTal·2020-07-06 15:49

数据分析学习日记 Day7 (权威论文的结构与内容)

第一个学习周期的结束，我阅读了一篇2017年的类比的挖掘加速创新的论文Accelerateinnovationthroughanalogymining通过类比挖掘加速创新能力很是有限，仅能浅显的阅读，对于专业知识看得一塌糊涂。下面从结构和内容两个方面总结我的思考。结构方面Abstract(摘要)KEYWORDS(关键词，文章里重点关注的对象)1Introduction(初介绍，引入话题）2Lear
GooTal·2020-07-06 15:18

数据分析学习日记 Day6（数据分析实例小试）

零散客户从商店用支付宝购买、评分数据分析目录一、熟悉数据二、分析方法论三、数据分析突破点四、数据预处理数据清洗数据加工五、具体分析一、熟悉数据数据集是商店的信息，支付宝用户的支付日志和用户浏览日志（从2015.07.07-2016.10.31）。：商店id以及所在城市内的地址id、用户平均支付价格、用户给商店评分，用户评价的数量、口碑等级评价、用户购买的食品类别（一二三级分类）。二、分析方法论（可
GooTal·2020-07-06 14:12

数据分析学习日记 Day1

一、何为数据分析（一）数据分析的含义数据分析是指用适当的统计分析方法，对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。（二）数据分析的统计学分类在统计学领域，将数据分析划分为描述性统计分析、探索性数据分析以及验证性数据分析。1、描述性统计分析，是指运用制表和分类，图形以及计算概括性数据来描述数据特征的各项活动。它要对调查总体所有变量的有关数据进行统计性描述，
GooTal·2020-07-06 14:41

数据分析学习日记 Day5

描述性数据分析：描述性数据分析，是指运用制表和分类，图形以及计算概括性数据来描述数据特征的各项活动。描述性统计分析要对调查总体所有变量的有关数据进行统计性描述，主要包括数据的频数分析、集中趋势分析、离散程度分析、分布以及一些基本的统计图形。常用的分析指标：①数据的频数分析。在数据的预处理部分，利用频数分析和交叉频数分析可以检验异常值。②数据的集中趋势分析。用来反映数据的一般水平，常用的指标有平均值
GooTal·2020-07-06 14:41

Python数据分析入门笔记——实战房价分析

Python数据分析学习入门四——房价分析房价预测导入数据,查看数据结构和类型倒入项目所需的包将划分好的数据导入分析简单查看训练集数据查看每列的数据类型查看因变量y的分布,处理极值查看数据基本情况画出直方图
loufor·2020-07-05 07:07

数据分析学习笔记01

什么是商业数据思维本文仅仅是学习体会，并不是完全原创。企业中的商业数据分析到底在做什么现状分析，你需要告诉领导现阶段企业的整体运营情况；原因分析，你需要分析现阶段运营情况的发生的原因，这个过程就好像侦探破案一样，比如，为什么1月销售额低于2月？为什么3月用户活跃突然暴涨？为什么上个季度营业额严重下滑？在步骤一中数据分析得出的结果基础上，你需要回答你发现的这些问题的原因？这些原因才是有意义的。预测分
fallwinters·2020-07-01 23:51

数据分析学习体验——实际案例_逻辑回归&线性回归

作者:江俊日期:2018年3月27日主要介绍批量生成profiling图以及五数概括的自建函数。项目背景某保养品公司目前有一款产品线销售情况一直不景气，公司预算有限，希望在现有的客户中挖掘出最有可能在30天内购买该产品的用户群使用语言R语言使用模型逻辑回归+线性回归建模步骤一、了解数据数据结构Y变量定义X变量类型响应率情况花费金额分布代码：rm(list=ls())setwd("./")#chan
SmallerNovice·2020-07-01 13:19

数据分析学习总结笔记13：生存分析及Python实现

文章目录1引言2定义3数学直观4Kaplan-Meier估计5Cox比例风险模型6总结1引言生存分析是一套统计方法，用来解决诸如“多长时间后，某个特定事件发生”这样的问题;换句话说，也可以称之为事件时间分析。这种方法被称为生存分析，是由于主要是由医学研究人员开发的，他们更感兴趣的是寻找不同群体患者的预期寿命(例如:用药物a治疗的组群1和用药物b治疗的组群2)。这种分析不仅可以应用于传统的死亡事件，
Lynn Wen·2020-07-01 06:49

2019-12-7晨间日记

阴心情：空纪念日：无任务清单昨日完成的任务，最重要的三件事：仅完成英语听力，单词，今日任务：英语听力单词英语作文模板总结大数据分析PPT英语口语准备习惯养成：光说不练假把式周目标·完成进度备考英语，大数据分析学习
扎布多伊·2020-07-01 00:50

数据分析学习Day7---数据分析思维

如果分析思维是一种结构化的体现，那么数据分析思维外加一个准则：“不是我觉得，而是数据证明”。这是一道分水岭，“我觉得”是一种直觉化经验化的思维，工作不可能处处依赖自己的直觉，公司发展更不可能依赖于此。数据证明则是数据分析的最直接体现，它依托于数据导向型的思维，而不是技巧，前者是指导，后者只是应用。建立自己的指标体系现代管理学之父彼得·德鲁克说过一句很经典的话：如果你不能衡量它，那么你就不能有效增长
ghostdogss·2020-06-30 16:36

python数据分析学习路径

1.了解python：1）准备工作环境（第1周）1.1.python安装1.2.库安装：pandas、numpy、matplotlib、scipy2）学习python语言基础知识（第2-3周）：廖雪峰基础教程、慕课网python、小甲鱼3）学习正则表达式知识（第4周）：正则表达式学习、慕课网正则表达式2.数据采集（第5-8周）：1）了解数据类型2）外部数据采集（python爬虫相关）3.数据分析（
zhaocen_1230·2020-06-30 14:29

Python数据分析学习总结

Python数据分析学习总结概述数据分析的含义与目标方法：统计分析方法目标：提取有用信息手段：研究、概括、总结Python与数据分析Python特点：简洁、开发效率高、运算速度慢、胶水特性（集成C语言）
Dream_yz·2020-06-30 11:05

Python数据分析学习路线个人总结

这是第277篇原创数据分析人人都有必要掌握一点，哪怕只是思维也行。下面探讨Python数据分析需要学习的知识范畴，结合自己的经历和理解，总结的学习大纲，有些章节带有解释，有些没有。当然，关于学习范畴，可能每个人的理解都不太一样，以下仅供参考。1数据分析思维数据分析属于分析思维的一个子类，有专门的数据方法论。只有先养成正确的分析思维，才能使用好数据。大多数人的思维方式都依赖于生活和经验做出直觉性的判
算法channel·2020-06-30 03:14

数据分析学习笔记（一）主要流程和内容

数据分析学习笔记（一）数据分析需要的主要内容数据分析的结构层次底层数据的收集/产品端收集数据业务化/产品需要什么样的数据？数据可视化/产品的表现如何？
weixin_45661573·2020-06-29 16:14

2020年Python数据分析学习笔记之Numpy运用（四）

目录1、Numpy的基础用法（1）数组的创建和属性（2）索引和切片2、Numpy的高级用法（1）数组形状的改变（2）数组的ufunc广播机制（3）排序和搜索3、Numpy文件读写（1）Numpy文件读取（2）Numpy文件存储（3）Numpy字符串操作4、Numpy统计计算（1）Numpy随机数生成（2）Numpy统计相关函数（3）Numpy线性代数1、Numpy的基础用法（1）数组的创建和属性#
简时刻·2020-06-29 14:11
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他