Spark执行过程出现outofmemory错误的解决方案

进入Spark的conf目录，找到spark-env.sh文件，添加如下值：

export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_INSTANCES=2
export SPARK_EXECUTOR_MEMORY=4g
export SPARK_DRIVER_MEMORY=4g
export SPARK_JAVA_OPTS="-Xms2048m -Xmx4096m -Dspark.cores.max=2 -Dspark.executor.memory=4g"

考虑只添加如下值应该也可以：

export SPARK_JAVA_OPTS="-Xms2048m -Xmx4096m -Dspark.cores.max=2 -Dspark.executor.memory=4g"

注意上面的2048等数值可以根据配置自行调整。