hadoop2.7迁移到hadoop3.1，hive数据迁移

本文采用distcp的方式迁移数据，有关distcp如何使用，请移步如下链接自行学习：

https://hadoop.apache.org/docs/r3.1.0/hadoop-distcp/DistCp.html

关于distcp的几点说明：

1.如果跨版本迁移，官网推荐源目标要使用webhftp协议（此处有坑，hadoop0.x和1.x时时hftp协议，hadoop2.x把hftp协议名改成webhftp了）；

2.即使跨版本，其实还是用hdfs协议也没有问题，因为数据块都是crc32或者crc64校验的，所以理论上不存在数据不兼容的问题（我成功从hadoop2.7把数据distcp到hadoop3.1了）；

3.hadoop distcp命令要在目标机器执行；

 

第一步执行如下命令：

hadoopHome/bin/hadoop distcp hdfs://sourceNameNode:8020/apps/hive/warehouse/tableTest/dt=2018-05-16 hdfs://tarGetNameNode:8020/apps/hive/warehouse/tableTest/dt=2018-05-16

第二步查看hive源表的建表语句：

show create table tableTest;

修改源表建表语句的部分信息适合目标节点；

修改完之后在目标机器hive命令行执行；

第三步修复上面的hive表：

因为只是把数据导入到hive的hdfs路径下面了，但是hive的元数据库里面没有hdfs文件的信息，所以需要修复，执行下面命令即可：

msck repaire table tableTest;

 

以上每一步都成功完成即可，上面只是简略说了一下步骤，里面还有坑，详细操作步骤请加如果QQ群讨论，大家互相学习：

    有问题加QQ群：877769335

    或者用QQ扫描二维码加群：