创建HIVE的rcfile数据压缩表

创建普通hive表

CREATE TABLE
    crm_support_customer
    (
        ID INT ,
        Name String ,
        Contact1 String,
        Contact2 String,
        Contact3 String,
        Contact4 String,
        IDCard String,
        Province INT,
        City INT,
       ...
    )
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';


创建表储存格式为 rcfile
CREATE TABLE
    crm_support_customer_rcfile
    (
        ID INT ,
        Name String ,
        Contact1 String,
        Contact2 String,
        Contact3 String,
        Contact4 String,
        IDCard String,
        Province INT,
        City INT,
       ...
    )stored as rcfile;




设置压缩
set hive.exec.compress.output=true;


从原表中导入数据
insert overwrite table crm_support_customer_rcfile select *from crm_support_customer;

测试压缩后的查询

hive的查询

spark-sql中的查询

总结：

rcfile的文件压缩，压缩比及兼容性，查询效率等，都有非常好的表现。