Hive表创建唯一标识列

需求:在某一张 hive 表中需要有一列去唯一标识某一行,有些类似于MySQL
中的自增ID

  1. row_number()
      SELECT row_number() OVER(ORDER BY RAND()) AS sample_key

结果
Hive表创建唯一标识列_第1张图片

  1. UUID
      SELECT regexp_replace(reflect("java.util.UUID", "randomUUID"), "-", "") AS sample_key

结果
Hive表创建唯一标识列_第2张图片

两种方法对比:使用 row_number() 容易发生数据倾斜
使用UUID的方式可以解决数据倾斜,如果在hive表中null的值过多,也可以使用UUID的方法给null赋值,解决数据倾斜的问题

你可能感兴趣的:(Hive)