Spark入门篇------Spark的路径配置（macOS）

我觉得这个macos的路径配置还是很有必要在赘述一下的！！！

网上的很多的spark环境配置在配置路径都是直接去修改ect/profile，其实这样是很危险的，本博主亲测，不小心删了一行，结果导致命令行出现了问题，不得不重装系统。

首先我们先了解一下Mac系统的环境变量，加载顺序为：

/etc/profile    /etc/paths    ~/.bash_profile    ~/.bash_login    ~/.profile    ~/.bashrc

其中/etc/profile和/etc/paths是系统级别的，系统启动就会加载，后面几个是当前用户级的环境变量。

后面3个按照从前往后的顺序读取，如果~/.bash_profile文件存在，则后面的几个文件就会被忽略不读了，如果~/.bash_profile文件不存在，才会以此类推读取后面的文件。~/.bashrc没有上述规则，它是bash shell打开的时候载入的。值得一提的是这几个文件中，/etc/paths文件里面不用export那种方式添加环境变量，直接它的文件内容里面的每一行的路径就会被添加到环境变量中。

所以修改路径的时候建议在 ~/.bash_profile中进行配置

vim ~/.bash_profile

# >>> spark init >>>
export SPARK_HOME=/Users/shengdeming/Documents/spark/spark-2.4.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
# <<< spark init <<<

#是备注

SPARK_HOME后面是spark-2.4.1-bin-hadoop2.7文件夹的路径

然后保存配置

source ~/.bash_profile

然后我们就可以运行spark-shell啦 

spark-shell

效果如图