spark DataFrame和pandas DataFrame互相转换

values = pandas_df.values.tolist()

columns = pandas_df.columns.tolist()

spark_df = spark.createDataFrame(values, columns)

pandas_df = spark_df.toPandas()

你可能感兴趣的:(工作笔记)