2020寒假生活学习日记(四)

安装maven
ubuntu中没有自带安装maven,需要手动安装maven。

 

 

 在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录

在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件(vim ./sparkapp2/src/main/java/SimpleApp.java),添加代码如下:

2020寒假生活学习日记(四)_第1张图片

 

 该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下,声明该独立应用程序的信息以及与Spark的依赖关系:

2020寒假生活学习日记(四)_第2张图片

 

 为了保证maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:

2020寒假生活学习日记(四)_第3张图片

 

 接着,我们可以通过如下代码将这整个应用程序打包成Jar

2020寒假生活学习日记(四)_第4张图片

 

 

  出现的问题:

在打包jar的时候一直出现error,后来我发现必须把pom.xml里面的

org.apache.spark
            spark-core_2.11
            2.0.0-preview
改成自己版本号
然后加上

        
          
            
              maven-resources-plugin
              2.7
                       
          
           
    
就OK了,之后保持网络顺畅,一直下载依赖包 等待结束。

你可能感兴趣的:(2020寒假生活学习日记(四))