Spark实验报告

一、兼容问题

Spark与Scala版本兼容问题：
Spark运行在Java 8 +，Python 2.7 + / 3.4 +和R 3.1+上。对于Scala API，Spark 2.4.2使用Scala 2.12。您需要使用兼容的Scala版本（2.12.x）。
请注意，自Spark 2.2.0起，对2.6.5之前的Java 7，Python 2.6和旧Hadoop版本的支持已被删除。自2.3.0起，对Scala 2.10的支持被删除。自Spark 2.4.1起，对Scala 2.11的支持已被弃用，将在Spark 3.0中删除。
 

二、下载安装Scala和Spark

1、Scala的下载安装

Scala官网：https://www.scala-lang.org/download/
传输到Linux中进行安装
解压安装：

tar -zxvf scala-2.12.8.tgz -C /opt/module
mv scala-2.12.8 scala

测试：

scala -version

启动：

scala

2、Spark的下载安装

Spark官网：
https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz
解压：

tar -zxvf spark-2.4.2-bin-hadoop2.7.tar.gz

重命名:

mv spark-2.4.2-bin-hadoop2.7  spark

启动spark:
①先启动hadoop 环境

start-all.sh

②启动spark环境
进入到SPARK_HOME/sbin下运行start-all.sh

/opt/module/spark/sbin/start-all.sh

③启动Spark Shell

④退出Spark Shell

scala> :quit

三、使用Spark Shell命令编写代码

读取本地文件

显示第一行内容

读取HDFS文件

对上述hdfs根目录下f1.txt文件进行词频统计

查看结果