Pandas使用教程 - 数据合并与连接高级技巧 (merge_asof, merge_ordered)

进阶篇33. 数据合并与连接高级技巧 (merge_asof, merge_ordered)

在数据分析中，往往需要将多个 DataFrame 按照某种逻辑合并，尤其在时间序列数据中，常见的“最近匹配”或“有序合并”问题，传统的 merge 或 join 无法很好地解决。Pandas 提供了两种高级合并方法来应对这类需求：

• merge_asof：类似于 SQL 中的“最近邻连接”（as-of join），适用于按时间或有序键合并时，寻找每个左侧记录在右侧中最接近但不超过该值的记录。
• merge_ordered：用于有序合并，能够保留所有数据，并自动按顺序对齐，同时支持前向或后向填充，非常适合用于时间序列数据的合并与比较。

下面我们详细介绍这两种方法的原理、数学表达及具体代码示例。

---

1. merge_asof

1.1 基本概念

merge_asof 主要用于时间序列数据或其他有序数据的合并，它会对每个左侧的键寻找在右侧键中最接近且不大于左侧键的值。数学上，假设有两个有序数据集 ( L )（左侧）和 ( R )（右侧），对于左侧中每个键 ( t )，merge_asof 寻找满足：
$$r=\max \{s\in R\mid s\le t\}$$
然后将对应记录合并到左侧数据中。

这种方法常用于金融数据（例如，将交易数据与行情数据进行最近匹配）以及其他需要最近时间点数据的场景。

1.2 示例代码

假设有两个 DataFrame，分别代表交易记录和市场数据，我们希望将每笔交易与最近的市场数据进行合并。

import pandas as pd
import numpy as np

# 模拟交易数据：交易时间及价格
trades = pd.DataFrame({
    'TradeTime': pd.to_datetime([
        '2024-01-01 09:31', '2024-01-01 09:35', '2024-01-01 09:40',
        '2024-01-01 09:45'
    ]),
    'TradePrice': [101, 102, 103, 104]
})

# 模拟行情数据：记录时间及市场价格
quotes = pd.DataFrame({
    'QuoteTime': pd.to_datetime([
        '2024-01-01 09:30', '2024-01-01 09:33', '2024-01-01 09:38', 
        '2024-01-01 09:43', '2024-01-01 09:48'
    ]),
    'QuotePrice': [100, 101, 102, 103, 104]
})

# 使用 merge_asof 按 TradeTime 合并最近的 QuoteTime 数据
merged = pd.merge_asof(trades.sort_values('TradeTime'),
                       quotes.sort_values('QuoteTime'),
                       left_on='TradeTime', right_on='QuoteTime',
                       direction='backward')
print("merge_asof 合并结果：")
print(merged)

在上述代码中：

• 我们首先确保两个 DataFrame 按时间排序；
• 使用 merge_asof 将每个交易记录与不超过交易时间的最近行情记录合并；
• 参数 direction='backward' 表示只向后寻找（即找到最近且不超过交易时间的行情数据）。
  数学上，对于每个交易时间 ( t )，合并时选择满足 ( s \leq t ) 且 ( s ) 最大的行情记录。

---

2. merge_ordered

2.1 基本概念

merge_ordered 用于将两个有序 DataFrame 合并，并保证结果依然有序。它不仅支持类似于 merge_asof 的最近匹配，还可以在合并后进行数据填充操作（例如前向填充），从而更好地处理不连续数据。数学上，如果有两个有序数据集 ( L ) 和 ( R )，merge_ordered 会生成一个有序的联合数据集：
$$D=L\cup R$$
在合并过程中，可以选择对缺失数据进行填充，使得结果更平滑。

2.2 示例代码

假设我们有两个有序 DataFrame 分别记录不同来源的时间序列数据，我们希望将它们合并成一个 DataFrame，并对缺失值进行前向填充。

import pandas as pd

# 模拟数据源 1：股票价格
df1 = pd.DataFrame({
    'Date': pd.to_datetime(['2024-01-01', '2024-01-03', '2024-01-05']),
    'Price_A': [100, 102, 101]
})

# 模拟数据源 2：交易量
df2 = pd.DataFrame({
    'Date': pd.to_datetime(['2024-01-02', '2024-01-03', '2024-01-06']),
    'Volume': [2000, 2100, 1900]
})

# 使用 merge_ordered 合并两个 DataFrame，并对缺失值进行前向填充
merged_ordered = pd.merge_ordered(df1, df2, on='Date', fill_method='ffill')
print("merge_ordered 合并结果：")
print(merged_ordered)

在这个示例中：

• 我们将两个数据集按日期合并，生成一个有序的 DataFrame；
• 使用参数 fill_method='ffill' 进行前向填充，确保在日期缺失处使用最近的已知值；
• 结果 DataFrame 同时包含价格和交易量数据，并且日期顺序保持正确。

---

3. 参数与技巧比较

3.1 merge_asof 与 merge_ordered 的区别

• merge_asof

  • 主要用于“最近邻”匹配，适用于时间序列中按时间最近性进行合并。
  • 仅返回左侧每个记录对应的最近的右侧记录。
  • 适用于交易数据与行情数据的合并等场景。

• merge_ordered

  • 用于将两个有序 DataFrame 合并，保证结果有序。
  • 可以通过 fill_method 参数自动填充合并后产生的缺失值。
  • 更适合将来自不同数据源的时间序列数据合并，并保持数据连续性。

3.2 最佳实践

• 确保数据按合并键排序，否则 merge_asof 和 merge_ordered 可能无法得到正确结果。
• 根据实际需求选择方向参数 direction（例如 'backward'、'forward' 或 'nearest'）。
• 对于需要处理不连续数据的情况，利用 merge_ordered 的 fill_method 进行缺失值填充。
• 如果数据量较大，考虑分块处理或检查内存使用情况以确保性能。

---

4. 总结

本文详细介绍了 Pandas 中两种高级数据合并与连接技巧：

• merge_asof：适用于时间序列数据的最近邻合并，对于每个左侧记录，查找右侧中不超过该记录的最近值。
• merge_ordered：适用于有序数据的合并，能够保留所有记录，并可通过填充方法使合并结果连续，便于后续分析。

通过这些方法，你可以在处理金融数据、传感器数据或其他有序数据时，实现高效且精确的数据合并。合理选择合并方法与参数设置，将大大提高数据处理的准确性和效率，为后续数据分析、建模和决策提供坚实支持。

---

5. 参考资料

• Pandas 官方文档：merge_asof
• Pandas 官方文档：merge_ordered
• 《Python for Data Analysis》 by Wes McKinney

---

希望本文能帮助你深入理解并灵活运用 Pandas 中的 merge_asof 和 merge_ordered 方法，在实际数据合并与连接过程中做出最优选择。不断实践和探索，将使你在处理有序数据和时间序列数据时获得更高效、更准确的结果。