HIVE（二）

目录

访问HIVE的三种方式

DDL

DML 数据操作

向表中装载数据

数据导出

常用函数

Like 和 RLike

分组

Join 

排序

分区表和分桶表

---

访问HIVE的三种方式

启动Hive命令，Ctrl C 退出客户端，执行测试语句，与sql一致

[wyc@hadoop102 hive]$ bin/hive

经验小结：在hive中执行语句报错：

Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

原因：namenode内存空间不够,JVM剩余内存空间不够新job运行所致

需要在运行命令前运行以下命令:

set hive.support.concurrency=false;

Hive数据存放在HDFS中，默认路径：/user/hive/warehouse/test  使用 MapReduce 进行计算。

 Hive 默认使用的元数据库为 derby，开启 Hive 之后就会占用元数据库，且不与其他客户端共享数据，只能使用一个客户端，所以我们需要将 Hive 的元数据地址改为 MySQL。

元数据库保存的是hdfs的映射关系：

元数据包括：表名、表所属的数据库（默认是 default ）、表的拥有者、列 / 分区字段、 表的类型（是否是外部表）、表的数据所在目录等；

hive的原理是通过查询语句解析元数据，根据元数据找到hdfs路径，

使用元数据服务的方式访问

（1）启动 metastore ：[wuc@hadoop202 hive]$ hive --service metastore

（2）启动hive：bin/hive

使用JDBC启动hive

（1）启动Hadoop集群：

脚本命令：myhadoop.sh start

分别启动hdfs，yarn

sbin/start-dfs.sh       

sbin/start-yarn.sh    

若有单个没有启动的，单个启动

yarn-daemon.sh start resourcemanager （启动resourcemanager ）

yarn-daemon.sh start nodemanager（启动nodemanager）

（2）启动MySQL服务：sudo systemctl start mysqld

（3）启动metastore：hive --service metastore

（4）启动hiveserver2：bin/hive --service hiveserver2

（5）启动动 beeline 客户端：bin/beeline -u jdbc:hive2://hadoop102:10000 -n 用户名

写启动脚本后： hiveservices.sh start

常用命令：

1）“-e”不进入 hive 的交互窗口执行 sql 语句

[atguigu@hadoop102 hive]$ bin/hive -e "select id from student;"

“-f”执行脚本中 sql 语句

[wyc@hadoop102 hive]$ bin/hive -f /opt/module/hive/datas/hivef.sql

执行文件中的 sql 语句并将结果写入文件中

[wyc@hadoop102 hive]$ bin/hive -f /opt/module/hive/datas/hivef.sql >

/opt/module/datas/hive_result.txt

2）退出 hive 窗口：

hive(default)>exit;

hive(default)>quit;

3）在 hive cli 命令窗口中如何查看 hdfs 文件系统

hive(default)>dfs -ls /;

4）查看在 hive 中输入的所有历史命令

（1）进入到当前用户的根目录 /root 或/home/wyc

（2）查看. hivehistory 文件

[wyc@hadoop102 ~]$ cat .hivehistory

DDL

创建，查询，切换数据库

CREATE DATABASE [IF NOT EXISTS] database_name

[COMMENT database_comment]   // 注释

[LOCATION hdfs_path]   // 存储位置，数据库在 HDFS 上的默认存储路径是 /user/hive/warehouse/*.db。

[WITH DBPROPERTIES (property_name=property_value, ...)]；  //创建人,创建时间等属性

查询数据库：
show databases;

显示数据库信息：
desc database db_hive;

显示数据库详细信息，extended
desc database extended db_hive;

避免要创建的数据库已经存在错误，增加 if not exists 判断。
create database if not exists db_hive;

切换当前数据库
use db_hive;

修改数据库

ALTER DATABASE 命令为某个数据库的 DBPROPERTIES 设置键 - 值对属性值，

来描述这个数据库的属性信息

alter database db_hive set dbproperties('c