spark.debug.maxToStringFields错误

spark = SparkSession \
        .builder \
        .config('spark.debug.maxToStringFields', '100')\
        .appName("Python Spark SQL data source example") \
        .master('local[*]')\
        .getOrCreate()

在读入数据字段量较大的表时,会提示此错误,在windows平台配置文件上可以直接修改,或者在程序内部直接修改

如代码中所示,.conf(config('spark.debug.maxToStringFields', '100'))来修改配置

你可能感兴趣的:(spark.debug.maxToStringFields错误)