spark-submit详解

问题 如何提交Spark任务呢？

通常会采用以下两种方式：

1）spark-shell:一般调试用；

2）spark-submit：正式提交任务；

简而言之：spark-submit的使用与spark集群部署模式（standalone,yarn, Mesos）有关,这里主要说前面两种：

1）standalone模式：该模式需要指定spark master ip

spark-submit --master spark://10.11.12.14:7077 --deploy-mode cluster \
--total-executor-cores 30 --executor-memory 20g --driver-memory 10g --executor-cores 5 \
--name spark_test \
--class com.oynl.Test \
--queue  test \
./test-1.0.jar $date

2）yarn模式：

spark-submit --master yarn --deploy-mode cluster \
--num-executors 30 --executor-memory 20g --driver-memory 10g --executor-cores 5 \
--name spark_test_yarn \
--class com.oynl.TestYarn \
--queue  test \
./test-1.0.jar $date

需要注意的是：两种模式下可用的参数不完全相同。如配置excutor个数&#x