hive on spark配置经验

  1. 常规配置配置完,开启hadoop,开启spark(如果在hdfs上上传了纯净版的spark则不需要开启),开启hive
    注:当前节点一定要是namenode的active节点,因为hadoop长时间不用namenode就需要格式化(删除hadoop下的data logs文件夹执行hdfs namenode -format)

  2. hive客户端运行sql报错,要学会看错误在哪里,hive的默认日志地址在/tmp/用户名下

  3. hive-site.xml文件中需要配置两个与spark连接的配置文件,没配置,你能够从报错的日志中找到

    hive.spark.client.connect.timeout 300000ms hive.spark.client.server.connect.timeout 300000ms
  4. 至于版本问题我用的hive-3.1.2 spark3.0.0

  5. 任何解决不掉的问题,重装hive100%解决

  6. 每次重新启动hive以后,第一条hive on spark都会很慢,且可能会报错,等待以及多尝试几次即可正常

你可能感兴趣的:(Spark,hive,spark,hadoop)