【Sqoop】数据同步

HDFS数据导入Mysql实践

 

源数据是SparkSQL job生成的，基于Sqoop将数据同步到Mysql

HDFS文件类型默认是parquet

压缩格式是snappy

 

SparkSQL写入HDFS，如果路径不存在，自动创建，department目录不存在，则会自定创建，目录如下：

hdfs://clu:8020/dev/test/department

 

sqoop export \
--connect 'jdbc:mysql://localhost:3306/sqoop' \
--username 'root' \
--password 'root' \
--table 'user' \
--export-dir '/user.txt' \
--columns 'uname,vnum,fnumb' \
--mapreduce-job-name 'hdfs to mysql' \
--input-fields-terminated-by '\t' \
--input-lines-terminated-by '\n