ETL工具Sqoop使用

ETL工具Sqoop使用

一:启动集群
Hadoop,Hbase,Hive,Sqoop使用admin用户进行操作。
启动Zookeeper服务
ETL工具Sqoop使用_第1张图片
ETL工具Sqoop使用_第2张图片
ETL工具Sqoop使用_第3张图片
ETL工具Sqoop使用_第4张图片
ETL工具Sqoop使用_第5张图片
启动Hadoop集群
ETL工具Sqoop使用_第6张图片
在这里插入图片描述
用jps命令查看
在这里插入图片描述
二:MySQL集群使用root用户进行操作
ETL工具Sqoop使用_第7张图片
在这里插入图片描述
在这里插入图片描述
ETL工具Sqoop使用_第8张图片
三:mysql->HDFS
MySQL集群使用root用户进行操作。
Hadoop,Hbase,Hive,Sqoop使用admin用户进行操作。
测试
(1)初始化Sqoop服务器连接操作
在这里插入图片描述
注:其中“host”和“port”分别为Sqoop服务器的主机名和服务器所使用的端口号,“port”采用默认的端口号“12000”,“webapp”为指定Sqoop的jetty服务器的标识名称,可以自己定义。
(2)查看服务器连接
ETL工具Sqoop使用_第9张图片
(3)查看所有连接模板信息
ETL工具Sqoop使用_第10张图片
建立MySQL测试表空间,表和数据
a.创建用户sqoop并授权,建立新的数据库
ETL工具Sqoop使用_第11张图片
b.创建表并查询
ETL工具Sqoop使用_第12张图片
c.插入测试语句
ETL工具Sqoop使用_第13张图片
建立MySQL数据库连接
(1) 把MySQL的数据库连接工具包“mysql-connector-java-5.1.42-bin.jar”上传到用户家目录的“setups”目录下,该目录为事先自行创建用于存放实训相关软件包的目录。
(2) 将MySQL的数据库连接工具包添加到Sqoop的“extra”目录下
在这里插入图片描述
(3)创建数据库连接
ETL工具Sqoop使用_第14张图片
(4)建立HDFS文件系统连接
ETL工具Sqoop使用_第15张图片
ETL工具Sqoop使用_第16张图片
(5)在HDFS创建用于存放导出的数据文件的目录
在这里插入图片描述
(6)创建数据传输事务
ETL工具Sqoop使用_第17张图片
在这里插入图片描述
ETL工具Sqoop使用_第18张图片
四:练习
在admin用户家目录/home/admin/新建一个文本文件test001.txt
在这里插入图片描述
从本地文件系统复制文件到HDFS文件系统
ETL工具Sqoop使用_第19张图片
在MySQL提前创新好表结构
ETL工具Sqoop使用_第20张图片
ETL工具Sqoop使用_第21张图片
创建job并执行导入到mysql
ETL工具Sqoop使用_第22张图片
ETL工具Sqoop使用_第23张图片
ETL工具Sqoop使用_第24张图片
在mysql查询导入的数据
ETL工具Sqoop使用_第25张图片
ETL工具Sqoop使用_第26张图片
ETL工具Sqoop使用_第27张图片

你可能感兴趣的:(hadoop集群)