spark提示 Unable to load native-hadoop lib

spark在提交任务的时候,也会跟hadoop一样,报这个异常。

前提是hadoop/lib/native中已经有那些包了,然后把hadoop/lib/native加到环境变量LD_LIBRARY_PATH中。

在~/.bashrc中加入如下代码,为保险起见,在每个spark节点都加:

export LD_LIBRARY_PATH=/home/bigdata/apps/hadoop-2.6.0-cdh5.5.2/lib/native/:$LD_LIBRARY_PATH

source ~/.bashrc

参考:spark加载hadoop本地库的时候出现不能加载的情况要怎么解决呢?

 

你可能感兴趣的:(spark提示 Unable to load native-hadoop lib)