通过分治策略解决内存限制问题完成大型Hive表数据的去重的PySpark代码实现

在Hive集群中，有一张历史交易记录表，要从这张历史交易记录表中抽取一年的数据按某些字段进行Spark去重，由于这一年的数据超过整个集群的内存容量，需要分解成每个月的数据，分别用Spark去重，并保存为Parquet文件到临时的hdfs目录中，然后从磁盘上取得12个月的数据合并并且进行去重，最后输出的结果Hive表中，请用PySpark脚本实现这个功能的逻辑。

该PySpark脚本通过分治策略解决内存限制问题，先保证月度数据内存可处理，再通过二次去重保证全局数据一致性，最终输出完整的去重结果到Hive表。

from pyspark.sql import SparkSession
from pyspark.sql import functions as F

def main():
    spark = SparkSession.builder \
        .appName("Transaction Deduplication") \
        .enableHiveSupport() \
        .getOrCreate()

    # 配置参数
    target_year = 2023  # 指定目标年份
    dedupe_columns = ['transaction_id', 'user_id', 'amount']  # 替换为实际去重字段
    temp_path = "/tmp/deduplicated_transactions"
    result_table = "processed_transactions"

    # 按月处理数据
    for month in range(1, 13):
        # 按月查询数据
        monthly_data = spark.sql(f"""
            SELECT *
            FROM historical_transactions
            WHERE YEAR(transaction_date) = {
     target_year}
            AND MONTH(transaction_date) = {
     month}
        """)

        # 本月数据去重
        deduped_monthly = monthly_data.dropDuplicates(subset=dedupe_columns)

        # 添加分区列并保存
        deduped_monthly.withColumn("year", F.lit(target_year)) \
                       .withColumn("month", F.lit(month)) \
                       .write \
                       .partitionBy("year", "month") \
                       .mode("overwrite") \
                       .parquet(temp_path