记录一次spark本地运行时的org.apache.hadoop.io.nativeio.NativeIO问题

    最近换了新的电脑,好久不用的win10系统,安装了maven,jdk,idea之后,从git上下载了代码库,希望可以本地调试运行spark代码,安装好系统环境后,代码可以运行起来了,代码就是很简单的将系统字符存储到当前文件中,代码如下:

def main(args :Array[String]) :Unit = {
    val sparkConf = new SparkConf().setAppName("ArgsDemo")


    val sparkSession = SparkSession.builder().appName("test").config(sparkConf).getOrCreate()
    val path = new Path
    val config = path.getPathConfig()
    val rootPath = config.getString("root.path")
    println(rootPath)
    val seq = Seq("wfr")

    val outPath = config.getString("root.path")
    sparkSession.sparkContext.parallelize(seq).saveAsTextFile(outPath)
  }

运行过程中一直出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO错误,

你可能感兴趣的:(hadoop,大数据,hadoop)