Python Pandas数据补全全攻略：Series 缺失值处理实战详解

1. Python Series 数据补全

在 Python 中，pandas 库提供了非常强大的数据处理能力，包括 Series 数据的补全。Series 是一维的带标签数组，类似于列表、字典、NumPy 数组等。补全 Series 数据通常是为了填充缺失值 (NaN) 或者根据已有的数据进行插值。下面是常见的几种数据补全方法：

1. 使用 fillna() 方法填充缺失值

fillna() 方法的语法参数非常丰富，常用的参数包括：

Series.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None)

参数详解：

• value：标量值、字典、Series 或 DataFrame，用于填充缺失值。
• method：填充方法：
  • 'ffill' 或 'pad'：用前一个非缺失值向下填充。
  • 'bfill' 或 'backfill'：用下一个非缺失值向上填充。
• axis：用于指定填充的方向，Series 一般使用默认值 axis=0。
• inplace：True 会在原地修改数据，False 则会返回一个新对象。
• limit：指定填充的最大连续缺失值数。
• downcast：可以将数据类型向下转换，例如 downcast='infer' 会尝试将浮点数转换为整数。

---

示例补充：

# 用指定的数值填充，并限制最多填充1个缺失值
data.fillna(value=99, limit=1)

# 使用前向填充，并限制最多填充2个缺失值
data.fillna(method='ffill', limit=2)

# 使用字典填充不同的缺失值
data_dict = pd.Series([np.nan, 2, np.nan, 4], index=['a', 'b', 'c', 'd'])
data_dict.fillna({
   'a': 1, 'c': 3})

---

fillna() 方法使用技巧：

• 对于时间序列数据，method='ffill' 和 method='bfill' 是非常常用的。
• limit 参数可以避免一次性填充过多缺失值，控制填充范围。
• inplace=True 可以避免创建新对象，节省内存。
• downcast='infer' 会尝试将数据转换为更低的类型，如 float 转 int，节省内存。

fillna() 是 pandas 中最灵活、最常用的缺失值处理方法之一，结合多种参数可以完成复杂的数据补全任务。

2. 插值填充

interpolate() 方法用于插值填充缺失值，可以根据已知数据点推断缺失数据。该方法支持多种插值方式，如线性插值、样条插值、常数插值等。

语法：

Series.interpolate(method='linear', axis=0, limit=None, inplace=False, limit_direction='both', limit_area=None, downcast=None, **kwargs)

参数详解：

• method：插值方法，可以选择以下几种：
  • 'linear'：线性插值（默认值）。
  • 'polynomial'：多项式插值，可以通过 order 参数指定多项式的次数。
  • 'spline'：样条插值（需要安装 scipy 库），可以指定 order 来选择样条的阶数。
  • 'barycentric'：基于拉格朗日插值的插值方法。
  • 'krogh'：Krogh插值。
  • 'piecewise_polynomial'：分段多项式插值。
  • 'pchip'：PCHIP 插值（Piecewise Cubic Hermite Interpolating Polynomial）。
  • 'polynomial' 插值方法还需要通过 order 参数指定多项式的阶数。
• axis：指定插值的轴，0 表示按行插值，1 表示按列插值。默认为 0。
• limit：指定每次插值的最大缺失值数。如果插值的缺失值超过了这个数量，插值将停止。
• inplace：如果为 True，则会直接修改原始 Series，默认为 False，返回新的 Series。
• limit_direction：指定插值的方向，'forward' 向前插值，'backward' 向后插值，'both' 向前和向后插值，默认为 'both'。
• limit_area：限制插值的区域，'inside' 只在内部填充，'outside' 只在外部填充。
• downcast：是否将数据类型转换为更低精度的类型，'int' 或 'float' 等。

示例：

import pandas as pd
import numpy as np

# 创建一个带有缺失值的 Series
data = pd.Series([1, np.nan, 3, np.nan, 5])

# 使用线性插值填充
data_interpolated = data.interpolate()
print(data_interpolated)

输出：

0    1.0
1    2.0
2    3.0
3    4.0
4    5.0
dtype: float64

使用多项式插值：

# 使用二次多项式插值
data_interpolated_poly = data.interpolate(method='polynomial', order=2)
print(data_interpolated_poly)