pyspark学习---1、mac：pyspark安装以及各种运行方法测试以及报错解决方案

@TOC

pyspark 安装

• 安装jdk
• 安装scala
• 安装spark
• 安装pyspark

(1)安装jdk

之前安装过的，通过java -version查看版本 为1.8.0_221

(2) 安装scala

环境路径配置：
先打开文件：
vim ~/.zshrc 默认的话需要打开 vim ~/.bash_profile,我这里因为使用了zsh作为bach shell 所以打开zshrc。

export SCALA_HOME=/Users/ciecus/Documents/library/scala-2.10.7
export PATH=$PATH:$SCALA_HOME/bin

然后保存配置
source ~/zshrc或者source ~/.bash_profile

通过scala -version查看版本，为 2.10.7

(3) 安装spark

方法一： brew install apache-spark
缺点：国内环境安装超级慢

方案二：使用迅雷下载该链接，然后解压
超级快（ps：经过测试只有下载比较新的版本的时候比较有效）

步骤：
1、环境路径配置
vim ~/.zshrc 默认的话需要打开 vim ~/.bash_profile,我这里因为使用了zsh作为bach shell 所以打开zshrc。

export SPARK_HOME=/Users/ciecus/Documents/library/spark
export PATH=$PATH:$SPARK_HOME/bin

最后结果为：

然后保存配置
source ~/zshrc或者source ~/.bash_profile
2、重命名文件夹
sudo mv ./spark-2.4.4-bin-hadoop2.6 ./spark
3、复制conf文件
cd spark/conf
cp spark-env.sh.template spark-env.sh
4、spark-shell测试
./bin/spark-shell

5、运行示例程序
cd spark
scala程序:
./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
python程序:
./bin/spark-submit examples/src/main/python/pi.py 2>&1 | grep "Pi is roughly"

（4）安装pyspark

直接运行pip install pyspark，可能安装比较慢，这里放上需要用到的安装包：
链接:https://pan.baidu.com/s/1A-HRhvgJXgR7C7g5g3SCQA 密码:ssw7
把里面两个文件pip install 上即可。

直接命令行输入 pyspark测试

至此全部安装完毕。

附录：

（1）pyspark 安装包：
链接:https://pan.baidu.com/s/1A-HRhvgJXgR7C7g5g3SCQA 密码:ssw7