SparkSQL-liunx系统Spark连接Hive

目录

先来到spark312的jar包存放目录中：

复制jar包到该目录:

来到conf目录：

 把hive312/conf中的hive-site.xml复制到spark312/conf目录下：

 修改hive-site.xml文件：下面是里面的所有配置

配置完成，开始测试：

先启动hadoop：

启动hive的RunJar服务：

jps查看启动的服务：

登录hive：

查看默认库default以及表的名字：

 开启spark-shell：

---

spark连接hive我们需要六个关键的jar包，以及将hive的配置文件hive-site.xml拷贝到spark的conf目录下。如果你hive配置没问题的话，这些jar都在hive的目录中。

先来到spark312的jar包存放目录中：

[root@gree2 /]# cd opt/soft/spark312/jars/

复制jar包到该目录:

[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-beeline-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-cli-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-exec-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-jdbc-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/hive-metastore-3.1.2.jar ./
[root@gree2 jars]# cp /opt/soft/hive312/lib/mysql-connector-java-8.0.29.jar ./

来到conf目录：

[root@gree2 /]# cd opt/soft/spark312/conf/

 把hive312/conf中的hive-site.xml复制到spark312/conf目录下：

[root@gree2 conf]# cp /opt/soft/hive312/conf/hive-site.xml ./

 修改hive-site.xml文件：下面是里面的所有配置

 
    hive.metastore.warehouse.dir
    /opt/soft/hive312/warehouse
 
 
    hive.metastore.db.type
    mysql
 
 
    javax.jdo.option.ConnectionURL
    jdbc:mysql://192.168.61.141:3306/hive143?createDatabaseIfNotExist=true
 
 
    javax.jdo.option.ConnectionDriverName
    com.mysql.cj.jdbc.Driver
 
 
    javax.jdo.option.ConnectionUserName
    root
 
 
    javax.jdo.option.ConnectionPassword
    root
 
 
    hive.metastore.schema.verification
    false
        关闭schema验证
 
 
    hive.cli.print.current.db
    true
        提示当前数据库名
 
 
    hive.cli.print.header
    true
        查询输出时带列名一起输出
 

      hive.zookeeper.quorum
      192.168.61.146
   
   
      hbase.zookeeper.quorum
      192.168.61.146

   
      hbase.zookeeper.quorum
      192.168.61.146
   

   
      hive.aux.jars.path
      file:///opt/soft/hive312/lib/hive-hbase-handler-3.1.2.jar,file:///opt/soft/hive312/lib/zookeeper-3.4.6.jar,file:///opt/soft/hive312/lib/hbase-client-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5-tests.jar,file:///opt/soft/hive312/lib/hbase-server-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-common-2.3.5.jar,file:///opt/soft/hive312/lib/hbase-protocol-2.3.5.jar,file:///opt/soft/hive312/lib/htrace-core-3.2.0-incubating.jar


  hadoop.proxyuser.hadoop.hosts
  *

  hadoop.proxyuser.hdfs.groups
  *


  hive.metastore.uris
  thrift://192.168.61.146:9083

最后一段配置是我们需要加的。

配置完成，开始测试：

先启动hadoop：

[root@gree2 ~]# start-all.sh

启动hive的RunJar服务：

nohup hive --service metastore &

nohup hive --service hiveserver2 &

jps查看启动的服务：

登录hive：

[root@gree2 ~]# beeline -u jdbc:hive2://192.168.61.146:10000

查看默认库default以及表的名字：

 

 开启spark-shell：

scala> spark.table("aa")

 spark查看hive的默认库内容，也可以库名加上表名直接查询，来查看hive其他库内容，

也可以使用spark.sql,