DataFrame

总结一下利用pandas进行条件筛选的几个方法

首先创建一个表：df=pd.DataFrame({'A':[100,100,200,300,400],'B':['a','a','c','d','e'],'C':[3,2,1,5,4]})生成出来的表如下所示
烟雨人长安·2023-08-31 13:54

Pandas数据分析基础—pandas自带函数map()/apply()/applymap()

文章目录前言一、Series数据处理1、map()方法2、apply()方法3、applymap()方法总结二、DataFrame数据处理1、map()方法2、apply()方法3、applymap()
sodaloveer·2023-08-31 13:59

Python更改数据类型——astype()方法和to_numeric()函数

对象指定数据类型转换数据类型通过astype()方法强制转换数据的类型通过to_numeric()函数转换数据类型明确指定数据的类型通过dtypes属性进行查看importpandasaspddf=pd.DataFrame
·Jormungand·2023-08-31 13:25

AttributeError: ‘list‘ object has no attribute ‘to_excel‘

df获取的数据往往不能直接用于保存到excel中，需要用pd.DataFrame()对数据进行转换。
ml7yuwanhanhua·2023-08-31 10:21

创建DataFrame的几种方式（以及解决乱码的问题）

SparkSQL的数据源可以是JSON类型的字符串，JDBC,Parquent,Hive，HDFS等。SparkSQL底层架构首先拿到sql后解析一批未被解决的逻辑计划，再经过分析得到分析后的逻辑计划，再经过一批优化规则转换成一批最佳优化的逻辑计划，再经过SparkPlanner的策略转化成一批物理计划，随后经过消费模型转换成一个个的Spark任务执行。1、读取json格式的文件创建DataFra
Splicing·2023-08-31 06:06

有空值不能画箱型图

importnumpyasnpimportpandasaspdfrommatplotlibimportpyplotaspltarr_list1=[1,2,3,4,5]arr_list2=[1,2,np.NAN,4,5]data1=pd.DataFrame
嘿嘻哈呀·2023-08-31 05:03

R-tibble

1.创建tibbleas.tibble()可将dataframe转换为tibbletibble()直接创建tibble中可以使用在R中无效的变量名称，需要用反引号`括起来>annoyingannoying
JY_Liu·2023-08-30 14:50

创建华丽的数据展示表格：使用Plottable库让DataFrame样式变得简单

最近github上发现了一个库（plottable），可以用简单的方式就设置出花哨的DataFrame样式。
执笔人·2023-08-30 14:50

python读取大数据csv文件—亿级数据量

原理：把dataframe分为多个chunk，一个chunk有10000000条数据，最后再拼接成chunks就OK了。importpandasa
rubyw·2023-08-30 11:02

python处理时间格式：日期、时间、年、月、日、时刻、星期

原dataframe中的字段timestamp如下：提取其中的日期、时间、年、月、日、时刻、星期：importdatetimefromdatetimeimportdatetime#时间格式转换，获取日期
rubyw·2023-08-30 11:02

量化：pandas基础

文章目录简介Series构造DataFrame构造列的查改增删填充默认值用loc与iloc取数据条件选择简介pandas是Python的核心数据分析支持库，提供了快速、灵活、明确的数据结构。
无名J0kзr·2023-08-30 10:58

spark.read.json对schema的排序

先粘贴一下原始数据：主要看一下表头字段的顺序//之前的代码我就不粘贴了，这里就粘两行对dataFrame初始化valdf=spark.read.json(spar
我不想名字重复·2023-08-30 09:18

SparkDataFrame操作OpenLooKeng

文章目录前言openLooKeng介绍SparkDataFrame读取openLooKeng前言前几天领导让用spark集成openLooKeng，可能熟悉openLooKeng的朋友知道openLooKeng
我不想名字重复·2023-08-30 09:47

SparkDataFrame操作TiDB数据

文章目录前言TiDB单机搭建sparkDataFrame连接TiDB前言前几天领导让用spark集成TiDB支持读写，没办法只能简单的了解一下TiDB，然后搭建了一个单机版的TiDB测试使用，这里也理解的比较浅显
我不想名字重复·2023-08-30 09:17

SparkDataFrame操作OceanBase

文章目录前言架构集群架构SQL引擎执行过程OceanBase安装SparkDataFrame链接OceanBase前言前几天领导让用spark集成OceanBase支持读写，没办法只能简单的了解一下OceanBase
我不想名字重复·2023-08-30 09:17

SparkDataFrame操作TDengine

文章目录前言TDengine安装TDengine支持的数据类型SparkDataFrame连接TDengine前言前几天领导让用spark集成TDengine支持读写，没办法只能简单的了解一下TDengine
我不想名字重复·2023-08-30 09:17

Spark DataFrame中rollup和cube使用

我们平时在做报表的时候，经常会有各种分维度的汇总计算，在spark中我们最常用的就是groupBy操作，groupBy就是按照给定的字段名分组，后面接sum、count、avg等聚合操作；在spark中也提供了rollup、cube这样的分组函数，接下来本文就以一个实例展示一下这两个函数的作用。我们先来看个需求：下面的表是某公司最近两年在全国各地的销售额，我们想要知道xiang华北地区的销售情况、
k_wzzc·2023-08-30 09:38

Data-Manipulation-with-Pandas

文章目录1.TransformingData1.1IntroducingDataFrames1.2InspectingaDataFrames1.3PartsofaDataFrame1.4Sortingandsubsetting1.5Sortingrows1.6Subsettingcolumns1.7Subsettingrows1.8Subsettingrowsbycategoricalvariab
radar_sun·2023-08-30 03:05

关系数据库如何使用AutoSklearn一键构建预测模型并进行结果可视化

AutoSklearn来构建预测模型并实现自动化预测，可以按照以下步骤进行操作：安装AutoSklearn：shellpipinstallautoml导入所需的库和模块：准备数据表：将关系数据表转换为pandasDataFrame
LCHub低代码社区·2023-08-29 16:25

对DataFrame对象中的数据将各行列进行整体平移DataFrame.shift()

【小白从小学Python、C、Java】【计算机等级考试+500强双证书】【Python-数据分析】对DataFrame对象中的数据将各行列进行整体平移DataFrame.shift()[太阳]选择题以下
刘经纬老师·2023-08-29 09:57

无涯教程-机器学习 - 矩阵图函数

在以下示例中，Python脚本将为Pima印度糖尿病数据集生成并绘制相关矩阵，它可以借助PandasDataFrame上的corr()函数生成，并借助pyplot进行绘制。
Hi无涯教程·2023-08-29 08:51

pandas库之函数应用和映射

NumPy的ufuncs（元素级数组方法）也可用于操作pandas对象：In[190]:frame=pd.DataFrame(np.random.randn(4,3),columns=list('bde
samoyer·2023-08-29 02:05

Pandas | 详解数据的合并和拼接

-----------------------------------------------Pandas包的merge、join、concat方法可以完成数据的合并和拼接，merge方法主要基于两个dataframe
ElienC·2023-08-29 02:11

pyspark RDD 的介绍和基本操作

pysparkRDD的介绍和基本操作RDD介绍虽然现在pyspark已经支持了DataFrame但是有的时候不得不用一下RDD但是官方文档很多地方说的不明不白所以自己做了实验在这里总结一下。
随机???·2023-08-28 18:26

科学计算python库：pandas基本使用

sqlite数据库）3、读取CSV格式数据4、读取pickle二进制格式数据数据导出1、Numpy数据导出2、JSON格式导出3、数据存储在SQL数据库4、导出CSV格式数据5、保存pickle二进制格式数据Dataframe
Crayon鑫·2023-08-28 17:04

【Bug记录与解决】Python报错 AttributeError: ‘DataFrame‘ object has no attribute ‘concat‘ 该怎么解决（解决方案汇总）

订阅专栏，学习更多干货知识！！该问题精选自后台粉丝私信，并已经解决的程序运行时错误！⛴目录一、实例代码与遇到问题1.1报错代码1.2报错二、报错分析2.1代码精析2.2问题解决方案汇总2.2.1针对本例问题2.2.2其它解决方案汇总一、实例代码与遇到问题1.1报错代码imp
追光者♂·2023-08-28 13:01

pandas loc 正则匹配_数据分析Pandas

使用Ⅰ.数据结构维数名称描述1Series带标签的一维同构数组2DataFrame带标签的，大小可变的，二维异构表格一维Series创建import pandas as pdim
weixin_39636176·2023-08-28 13:25

创建华丽的数据展示表格：使用Plottable库让DataFrame样式变得简单

最近github上发现了一个库（plottable），可以用简单的方式就设置出花哨的DataFrame样式。
·2023-08-28 10:20

sql获取数据格式转化问题

目标：我用pymysql从数据库中获取了多条数据，存储为dataframe。其中有一列数据表征时间，有一列数据表征日期，我需要把这两列攒在一起，组成新的一列，格式为timestamp。
dechuan·2023-08-28 03:13

【Pandas】pd.concat和pd.merge的区别

前言最近做了一个数据挖掘的项目，里面涉及到大量dataframe拼接的操作。在这个过程中，我主要使用过两种拼接方法：pd.merge和pd.concat。其中遇到过一些坑，在这里记录一下。
zadarmo_·2023-08-27 21:13

pandas由入门到精通-pandas的数据结构

pandas数据分析-pandas的数据结构pandas数据结构Series1.创建Series数组2.性质3.索引4.运算DataFrame1.创建Df数组2.性质3.索引4.对列进行增删改IndexObjects
Wumbuk·2023-08-27 16:24

一张表将DataFrame两列合并为一列

将年份和月份合并为一个新字段（日期）data["日期"]=data["年份"].map(str)+"-"+data["月份"].map(str)map用法如果需要把数据集中gender列的男替换为1，女替换为0，怎么做呢？绝对不是用for循环实现，使用Series.map()可以很容易做到，最少仅需一行代码。使用字典进行映射data["gender"]=data["gender"].map({"男
嘿嘻哈呀·2023-08-27 14:35

Python连接SQL Server

使用Python连接SQLServer进行取数操作输入：SQL输出：DataFrame#导入连接sqlserver的包importpymssqldefsql_data(SQL):#设定变量连接数据库conn
羊羊猪·2023-08-27 11:31

Pandas高级教程之:Dataframe的合并

简介Pandas提供了很多合并Series和Dataframe的强大的功能，通过这些功能可以方便的进行数据分析。本文将会详细讲解如何使用Pandas来合并Series和Dataframe。
flydean程序那些事·2023-08-27 07:17

DataFrame.query()--Pandas

1.函数功能Pandas中的一个函数，用于在DataFrame中执行查询操作。这个方法会返回一个新的DataFrame，其中包含符合查询条件的数据行。
牵牛花主人·2023-08-27 05:14

DataFrame.set_index()方法--Pandas

1.函数功能为DataFrame重新设置索引（行标签）2.函数语法DataFrame.set_index(keys,*,drop=True,append=False,inplace=False,verify_integrity
牵牛花主人·2023-08-27 05:14

write.csv()函数--R语言

函数功能：write.tableprintsitsrequiredargumentx(afterconvertingittoadataframeifitisnotonenoramatrix)toafileorconnection
牵牛花主人·2023-08-27 05:44

pandasql

发现了个不错的库,可以将sql外挂到pandas的数据结构上,直接写sql,不用麻烦去记各种API了In[10]:importpandasqlIn[11]:frompandasimportSeries,DataFrameIn
樊海鹏·2023-08-27 04:18

pandas——改写pandas源文件以实现：使用pd.DataFrame.itertuples但不自动修正列名

使用pd.DataFrame.itertuples不自动修正列名何为pandas.DataFrame.itertuples？何为namedtuple？
ALittleHigh·2023-08-27 01:51

pandas——按行遍历dataframe的优选方法（itertuples，iterrows）

2种按行遍历的优选方法1.以命名元组的形式遍历DataFrame行pandas.DataFrame.itertuples关键字参数：index关键字参数：name返回：iterator示例：简单使用itertuples
ALittleHigh·2023-08-27 01:20

Pandas数据分析教程-描述性统计量

pandas基础介绍-命令模版描述性统计量pandas统计函数相关与协方差唯一值，频次统计,成员关系1.Series.unique()2.Series/DataFrame/array.value_counts
Wumbuk·2023-08-26 21:19

Pandas数据分析教程-数据清洗-扩展数据类型

pandas-02-数据清洗&预处理扩展数据类型1.传统数据类型缺点2.扩展的数据类型3.如何转换类型文中用S代指Series，用Df代指DataFrame数据清洗是处理大型复杂情况数据必不可少的步骤，
Wumbuk·2023-08-26 21:19

pandas数据分析教程-数据清洗-缺失值处理

pandas-02-数据清洗&预处理A.缺失值处理1.Pandas缺失值判断2.缺失值过滤2.1Series.dropna()2.2DataFrame.dropna()3.缺失值填充3.1值填充3.2向前
Wumbuk·2023-08-26 21:48

Pandas数据分析教程-数据处理

B.数据处理1.重复值处理2.map逐元素转换3.值替换4.改变索引值5.离散化与分箱6.检测过滤异常值7.排列与随机采样8.根据类别生成one-hot向量，向量化文中用S代指Series，用Df代指DataFrame
Wumbuk·2023-08-26 21:17

pyspark中list转换dataframe

importpandasaspdfrompyspark.sqlimportSparkSession#list原始数据data_list=[l'zhang',12],['wang',9],['li',3],['zhao',6]]#pandas转换data_df=pd.DataFrame
leap_ruo·2023-08-26 21:15

python替换—Series.replace()与Series.str.replace()的区别及为何replace()无效的解决方法

Series.str.replace()方法三、replace()与str.replace()使用方法的区别四、常见的坑：python中replace方法不起作用前言在Pandas中，Series是一个由一维数组表示的DataFrame
sodaloveer·2023-08-26 17:02

把Python Dict类型的键值对转换成DataFrame.column

把PythonDict类型的键值对转换成DataFrame.columnimportpandasaspdpd.set_option('display.width',5000)#pd展示的宽度pd.set_option
DebugWorld·2023-08-26 15:02

Pandas学习笔记

Pandas数据分析处理库数据预处理导入一份泰坦尼克号乘客数据df.head()展示读取数据，默认读取前5行df.tail()默认读取后5行df.head(10)读取前10行DataFrame结构Pandas
WangXinmingg·2023-08-26 15:41

大数据之Spark（5）- SparkSql

1SparkSQL概述1.1什么是SparkSQLSparkSQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。
jackyan163·2023-08-26 14:07

python dict to dataframe

pd.DataFrame.from_dict(word_dict,orient='index').T
wshzd·2023-08-26 06:50
上一页 37 38 39 40 41 42 43 44 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他