Pandas 数据处理：长格式到宽格式的全面指南

在数据分析中，数据格式的选择对于后续的分析操作至关重要。长格式（Long Format）和宽格式（Wide Format）各有其优缺点。长格式适合进行分组、聚合等复杂分析，而宽格式则更适合展示和进行简单的分析操作。Pandas 提供了强大的工具来灵活地转换数据格式，其中 pivot() 和 pivot_table() 函数可以方便地将长格式的 DataFrame 转换为宽格式。本文将详细介绍如何使用这些函数进行转换，包括处理多级索引的情况。

长格式与宽格式的区别

长格式（Long Format）

长格式是一种灵活的数据结构，每一行表示一个观测单位的一个变量值，通常包含两列：一列表示变量名，另一列表示对应的值。这种格式非常适合进行分组、聚合等复杂分析，因为它可以轻松地处理多个变量。

优点：

• 数据结构灵活，适合复杂分析。
• 便于处理多个变量。

缺点：

• 数据量会增加，因为每一行只包含一个变量值。
• 不利于展示和简单分析。

宽格式（Wide Format）

宽格式是一种常见的数据结构，每一行通常表示一个观测单位（如一个人、一个实验样本等），而每一列表示不同的变量或特征。这种格式的数据结构较为紧凑，非常适合展示和进行简单的分析操作。

优点：

• 数据结构紧凑，适合展示。
• 适合简单分析操作。

缺点：

• 当变量较多时，数据会变得非常宽，难以阅读。
• 不利于进行复杂的数据分析操作，如分组、聚合等。

使用 Pandas 转换数据格式

在实际的数据分析中，我们常常需要根据分析的需求将长格式的数据转换为宽格式。Pandas 提供了两个非常强大的函数 pivot() 和 pivot_table()，专门用于进行这种转换。此外，当处理带有**多级索引（MultiIndex）**的数据时，这些函数同样适用。

使用 pivot()

pivot() 函数用于将长格式的 DataFrame 转换为宽格式，适用于没有重复索引的情况。以下是 pivot() 的函数语法和参数说明：

函数语法

DataFrame.pivot(index=None, columns=None, values=None)

参数说明

• index：指定作为行索引的列名。
• columns：指定作为列索引的列名。
• values：指定要聚合的值列名。

示例代码

假设我们有一个长格式的 DataFrame，包含学生的姓名、科目和分数：

Name	Subject	Score
Alice	Math	90
Bob	Math	80
Charlie	Math	70
Alice	Science	85
Bob	Science	92
Charlie	Science	88
Alice	English	78
Bob	English	85
Charlie	English	95

import pandas as pd

# 创建长格式的 DataFrame
data = {
    'Name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie'],
    'Subject': ['Math', 'Math', 'Math', 'Science', 'Science', 'Science', 'English', 'English', 'English'],
    'Score': [90, 80, 70, 85, 92, 88, 78, 85, 95]
}
df_long = pd.DataFrame(data)

# 使用 pivot() 将长格式转换为宽格式
df_wide = df_long.pivot(index='Name', columns='Subject', values='Score')

print("转换为宽格式后的 DataFrame：")
print(df_wide)

输出的宽格式 DataFrame：

Name	English	Math	Science
Alice	78	90	85
Bob	85	80	92
Charlie	95	70	88

在这个例子中，我们使用了 pivot() 函数，将 Name 列作为行索引，Subject 列作为列索引，Score 列作为值列，成功地将长格式转换为宽格式。

使用 pivot_table()

pivot_table() 函数用于将长格式的 DataFrame 转换为宽格式，适用于存在重复索引的情况。pivot_table() 可以对重复的索引进行聚合操作。以下是 pivot_table() 的函数语法和参数说明：

函数语法

DataFrame.pivot_table(values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All')

参数说明

• values：指定要聚合的值列名。
• index：指定作为行索引的列名。
• columns：指定作为列索引的列名。
• aggfunc：指定聚合函数，默认为 'mean'。
• fill_value：指定缺失值的填充值。
• margins：是否添加汇总行和列，默认为 False。
• dropna：是否删除缺失值，默认为 True。
• margins_name：汇总行和列的名称，默认为 'All'。

示例代码

假设我们有一个长格式的 DataFrame，包含学生的姓名、科目和分数，其中存在重复的索引：

Name	Subject	Score
Alice	Math	90
Bob	Math	80
Charlie	Math	70
Alice	Science	85
Bob	Science	92
Charlie	Science	88
Alice	English	78
Bob	English	85
Charlie	English	95
Alice	Math	92
Bob	Math	82
Charlie	Math	75

import pandas as pd

# 创建长格式的 DataFrame
data = {
    'Name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie'],
    'Subject': ['Math', 'Math', 'Math', 'Science', 'Science', 'Science', 'English', 'English', 'English', 'Math', 'Math', 'Math'],
    'Score': [90, 80, 70, 85, 92, 88, 78, 85, 95, 92, 82, 75]
}
df_long = pd.DataFrame(data)

# 使用 pivot_table() 将长格式转换为宽格式
df_wide = df_long.pivot_table(index='Name', columns='Subject', values='Score', aggfunc='mean')

print("转换为宽格式后的 DataFrame：")
print(df_wide)

输出的宽格式 DataFrame：

Name	English	Math	Science
Alice	78	91	85
Bob	85	81	92
Charlie	95	72.5	88

在这个例子中，我们使用了 pivot_table() 函数，将 Name 列作为行索引，Subject 列作为列索引，Score 列作为值列，并使用 'mean' 作为聚合函数，成功地将长格式转换为宽格式。

处理多级索引

在实际应用中，我们可能会遇到带有**多级索引（MultiIndex）**的长格式数据。Pandas 提供了强大的工具来处理这种情况，主要通过 pivot() 和 pivot_table() 函数实现转换。

假设我们有以下带有 MultiIndex 列的 DataFrame，表示不同组（Group）和科目（Subject）下的学生分数：

Group	Subject	Student1	Student2
A	Math	85	78
A	Science	88	82
B	Math	92	84
B	Science	94	87

# 创建带有 MultiIndex 列的 DataFrame
index = pd.MultiIndex.from_tuples([('A', 'Math'), ('A', 'Science'), ('B', 'Math'), ('B', 'Science')], names=['Group', 'Subject'])
data = {'Student1': [85, 88, 92, 94], 'Student2': [78, 82, 84, 87]}
df_multi = pd.DataFrame(data, index=index)

# 将 MultiIndex 转换为普通列
df_multi_reset = df_multi.reset_index()

# 使用 pivot_table() 将长格式转换为宽格式
df_wide_multi = df_multi_reset.pivot_table(index='Group', columns='Subject', values=['Student1', 'Student2'], aggfunc='mean')

print("转换为宽格式后的 DataFrame：")
print(df_wide_multi)

输出的宽格式 DataFrame：

Group	Student1	Student2
A	Math	85
A	Science	88
B	Math	92
B	Science	94

在这个例子中，我们首先使用 reset_index() 将 MultiIndex 转换为普通列，然后通过 pivot_table() 将其转换为宽格式。通过指定 index='Group' 和 columns='Subject'，我们保留了组和科目信息作为标识变量，同时将学生分数列转换为宽格式。

总结

在数据分析中，长格式和宽格式各有其优缺点。长格式适合进行分组、聚合等复杂分析，而宽格式则更适合展示和进行简单的分析操作。通过使用 Pandas 的 pivot() 和 pivot_table() 函数，我们可以轻松地将长格式的 DataFrame 转换为宽格式。pivot() 适用于没有重复索引的情况，而 pivot_table() 则适用于存在重复索引的情况，并且可以对重复的索引进行聚合操作。此外，当处理带有**多级索引（MultiIndex）**的数据时，这些函数同样适用。

希望这篇文章能帮助你更好地理解和使用 pivot() 和 pivot_table() 函数，从而更高效地进行数据分析工作。