spark-network包在1.6时依赖guava 与 guava包冲突解决方案

一、背景

由于系统上线后，总是执行失败，而代码改动又不大。

二、异常内容

Invocation of init method failed; nested exception is com.google.common.util.concurrent.ExecutionError: java.lang.IllegalAccessError: com/google/common/base/Optional$1$1

三、异常分析

可以通过异常发现，该问题是guava包异常导致的，而仔细挖掘，会发现spark的network包下也存在com.google.common.base.Optional，而项目工程本身也使用了guava。导致JVM在加载时，使用了spark引用的包，导致的。

四、解决方案---对依赖包做shade处理

因为java是基于字节码的，因此可以动态修改字节码，即可以将依赖的jar包以及对应的class的import引用都动态修改掉。

比如以guava为例，guava包中的包名以com.google.common.*开头，我们将guava包及代码依赖中的包名全部改掉，如：xxx_guava.common.*，然后打包到一起，就可以解决包冲突的问题。这种处理的效果，看起来就像是我们不在依赖guava了，自然也就不会和Spark自带的guava包产生冲突了。

4.1、基于maven构建的项目

                org.apache.maven.plugins

                maven-shade-plugin

                3.1.0

               

                   

                        package

                       

                            shade

                       

                       

                           

                               

                                    com.google.common

                                    xx_guava.common

                               

                           

                           

                               

                                    *:*

                                   

                                        META-INF/maven/**

                                   

                               

                           

                            ${project.artifactId}-${project.version}-jar-with-dependencies

                       

                   

               

           

4.2、基于sbt构建的项目

修改项目目录的project/plugins.sbt，添加assembly插件addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.14.5")

然后修改build.sbt在项目配置中添加以下设置：

assemblyShadeRules in assembly := Seq(

  // 处理guava版本和spark自带guava包版本冲突问题

  ShadeRule.rename("com.google.common.**" -> "xx_guava.common.@1").inAll

)

sbt的assembly插件会将项目中所有的依赖都打包到一起，通常情况下我们的集群中已经有Spark的部署包了，不需要把Spark的包也打进来。

我们在添加依赖的时候通过provided将其排除掉即可，如下：

libraryDependencies ++= Seq(

  "org.apache.spark" %% "spark-core" % "2.3.1" % "provided"

)

最后执行sbt assembly打包就可以了。

五.反编译查看结果

5.1.反编译看到依赖的guava.

已经不再是com.google.*，而是xx_guava.common.*.

5.2.自己的工程代码中

private static com.google.common.base.Optional test =null;

修改成

private static xx_guava.common.base.Optional test =null;

六、参考与注意事项

1.参考  https://zhuanlan.zhihu.com/p/44956574

2.注意:

因为spark部署环境中的代码没有办法改动，因此该方式有效。即将本来依赖的guava包，修改成依赖xx_guava包，如果spark的代码也可以改动，则无需这么麻烦。

3.打包工具只能有一个,因此要取消以下的打包插件,否则会报错。

Failed to create assembly: Error creating assembly archive jar-with-dependencies: zip file is empty -> [Help 1]

               
                 
                   
        jar-with-dependencies              
                 
           
                   
                         
                       make-assembly           
                       package          
                                                 
                               single