dataframe两个表合并_Pandas数据变换-长宽表互换

最近工作中，有时会遇到数据转化的问题，这块知识之前掌握得比较零散，今天花时间整理了下

数据来源于下

jizhang/pandas-tidy-data​github.com

一.层级索引

层级索引可以作为增加维度的方法,也是行列转换的关键，Pandas原有的数据类型包括Series,DataFrame

Series可以看成是一维数组+索引

DataFrame可以看成是多个Series组成的二维数组

那么如果用实现比二维更高的数据，就可以使用层次索引

例如,如果我们想用Series实现二维数据，可以增加一层索引

In

如果将元组作为键的字典传递给 Pandas，Pandas 也会默认转换为 MultiIndex，这也是创建层级索引的方式之一。

我们来看下index的两个重要属性:levels和names

以上述层级索引为例:

data

可以看出levels属性包含各等级索引的索引值，是个二维列表。例如其中['California', 'New York', 'Texas']就是一级索引levels[0]。

data.index.names

#FrozenList([None, None])

names属性包含每级索引的名字，上述为None，是因为还没命名。

可以通过rename方法为index命名

data.index.rename("city",level = 0,inplace = True)
data.index.rename("dt",level = 1,inplace = True)

data.index.names

#输出FrozenList(['city', 'dt'])

二.行列转换(长宽互换)

(1) stack和unstack

California   

以上述数据为例

new_df 

unstack() 方法可以快速将一个多级索引的 Series 转化为普通索引的 DataFrame,stack则可以实现将列转化为索引。

来看个实际的行列互换的例子

列转行

import 

df 

上述转化，可以看作是宽表转长表，很好记忆，将一组具有相同特征的列，转化成一列，自然就变窄了，同时为了一一对应，需要和其他列做组合，就会变长。

行转列

我们现在将以上数据进行反转操作。

df = df.set_index(["religion", "income"])["frequency"] #设置层级索引
df = df.untack() #索引转列

三.melt和pivot_table

这里放两张图，原图来自Medium(高质量的英文网站)

pivot_table透视表操作就是长表转宽表

melt操作可以看作则是宽表转长表

https://towardsdatascience.com/reshape-pandas-dataframe-with-pivot-table-in-python-tutorial-and-visualization-2248c2012a31​towardsdatascience.com