Hive SQL 精进系列：一行变多行的 LATERAL VIEW EXPLODE

---

---

一、引言

当处理复杂数据结构时，例如数组和映射类型的数据，普通的 SQL 操作可能无法满足需求。而 LATERAL VIEW EXPLODE 这一组合功能就成为了解决这类问题的强大工具。本文将深入探讨 LATERAL VIEW EXPLODE 的原理、语法、使用场景，并通过丰富的案例来更好地理解帮掌握这一方法。

二、LATERAL VIEW EXPLODE 概述

2.1 基本概念

LATERAL VIEW EXPLODE 是 Hive SQL 中用于处理复杂数据类型（如数组和映射）的重要特性。它的主要作用是将表中的数组或映射类型的列展开，把数组中的每个元素或映射中的每个键值对拆分成单独的行，从而方便后续的数据分析和处理。这种展开操作可以让我们更方便地对复杂数据进行统计、筛选等操作。

2.2 单词解析

2.2.1 LATERAL

• 发音：英 /ˈlætərəl/；美 /ˈlætərəl/
• 词根分解：later 表示“边，侧面”，-al 是形容词后缀，所以 lateral 有“侧面的，横向的”意思。在 Hive SQL 中，LATERAL VIEW 可以理解为在原表的侧面（横向）生成一个新的视图，这个视图用于展开原表中的复杂数据结构。
• 示例理解：想象一个表格就像一个二维平面，LATERAL VIEW 就像是在这个平面的侧面新增了一列，这一列的数据是由原表中的复杂数据展开得到的。

2.2.2 VIEW

• 发音：英 /vjuː/；美 /vjuː/
• 词根解析：view 本身就有“视图，查看”的意思。在 SQL 中，视图是一种虚拟表，它是基于 SQL 语句的结果集。LATERAL VIEW 就是生成一个特殊的视图，专门用于处理原表中的复杂数据。
• 示例理解：可以把 LATERAL VIEW 生成的视图看作是原表的一个“放大镜”，它将原表中的复杂数据展开，让我们可以更清晰地查看和分析这些数据。

2.2.3 EXPLODE

• 发音：英 /ɪkˈspləʊd/；美 /ɪkˈsploʊd/
• 词根解析：ex- 表示“向外”，-plode 源于拉丁语 plaudere，有“拍手，爆炸”的意思。所以 explode 有“爆炸，炸开”的意思。在 Hive SQL 中，EXPLODE 函数的作用就是将数组或映射“炸开”，把其中的元素或键值对拆分成单独的行。
• 示例理解：假设一个数组就像一个装满物品的盒子，EXPLODE 函数就像一把“锤子”，把盒子“炸开”，让里面的物品（数组元素）都散落出来，形成单独的行。

三、语法详解

3.1 基本语法结构

SELECT ...
FROM table_name
LATERAL VIEW EXPLODE(array_or_map_column) exploded_table AS column_alias;

下面详细解释语法中的各个部分：

• table_name：这是你要查询的原始表的名称，也就是包含需要展开的数组或映射列的表。
• array_or_map_column：EXPLODE 函数接收的参数类型可以是数组（ARRAY）或者映射（MAP）类型的列。
  • 数组（ARRAY）：数组是一组相同类型元素的有序集合。例如，在学生课程表中，每个学生可能学习多门课程，这些课程可以用数组来表示。
  • 映射（MAP）：映射是键值对的集合，键和值可以是不同的数据类型。比如，学生的成绩可以用映射来表示，键为课程名称，值为对应的成绩。
• exploded_table：这是展开后生成的临时表名。它是一个虚拟的表，用于存储展开后的结果。
• column_alias：展开后列的别名。当展开数组时，这个别名代表数组中的每个元素；当展开映射时，通常需要两个别名，分别代表键和值。

3.2 完整语法示例（针对映射情况）

SELECT ...
FROM table_name
LATERAL VIEW EXPLODE(map_column) exploded_table AS key_alias, value_alias;

四、使用场景

4.1 数组数据展开

在处理包含数组类型列的数据时，我们常常需要将数组中的每个元素单独提取出来进行分析。例如，在一个学生信息表中，每个学生可能参加了多个社团活动，这些活动信息存储在一个数组中。使用 LATERAL VIEW EXPLODE 可以方便地将每个学生参加的活动拆分成单独的行，便于统计每个活动的参与人数等信息。

4.2 映射数据展开

当数据中包含映射类型的列时，我们可能需要对映射中的键值对进行分析。比如，在一个商品销售表中，每个商品可能有不同的属性和对应的属性值，这些属性和属性值以映射的形式存储。通过 LATERAL VIEW EXPLODE 可以将每个商品的属性和属性值拆分成单独的行，方便进行属性统计和分析。

五、案例分析

5.1 展开数组示例

5.1.1 数据准备

首先，我们创建一个包含学生 id 和所学 courses（课程数组）的表 students，并插入一些示例数据。

-- 创建表
CREATE TABLE students (
    id INT,
    courses ARRAY<STRING>
);

-- 插入数据
INSERT INTO students VALUES
(1, array('Math', 'Physics', 'Chemistry')),
(2, array('English', 'History'));

5.1.2 使用 LATERAL VIEW EXPLODE 展开数组

-- 查询语句
SELECT 
    id,
    course
FROM 
    students
LATERAL VIEW EXPLODE(courses) course_table AS course;

5.1.3 结果分析

执行上述 SQL 语句后，LATERAL VIEW EXPLODE 会将 courses 数组展开，生成一个新的视图 course_table，其中每一行对应一个课程。最终的查询结果如下：

id	course
1	Math
1	Physics
1	Chemistry
2	English
2	History

5.2 展开映射示例

5.2.1 数据准备

创建一个包含学生 id 和成绩映射（课程名 -> 成绩）的表 student_scores，并插入示例数据。

-- 创建表
CREATE TABLE student_scores (
    id INT,
    scores MAP<STRING, INT>
);

-- 插入数据
INSERT INTO student_scores VALUES
(1, map('Math', 90, 'Physics', 85, 'Chemistry', 88)),
(2, map('English', 92, 'History', 87));

5.2.2 使用 LATERAL VIEW EXPLODE 展开映射

-- 查询语句
SELECT 
    id,
    course,
    score
FROM 
    student_scores
LATERAL VIEW EXPLODE(scores) score_table AS course, score;

5.2.3 结果分析

执行上述 SQL 语句后，LATERAL VIEW EXPLODE 会将 scores 映射展开，生成一个新的视图 score_table，其中每一行对应一个课程和对应的成绩。最终的查询结果如下：

id	course	score
1	Math	90
1	Physics	85
1	Chemistry	88
2	English	92
2	History	87

5.3 结合其他操作的示例

在实际应用中，我们常常会将 LATERAL VIEW EXPLODE 与其他 SQL 操作结合使用。例如，我们可以对展开后的数据进行筛选、分组和聚合操作。

5.3.1 数据准备

使用前面创建的 student_scores 表。

5.3.2 查询语句

-- 查询每个学生的平均成绩
SELECT 
    id,
    AVG(score) AS average_score
FROM 
    student_scores
LATERAL VIEW EXPLODE(scores) score_table AS course, score
GROUP BY id;

5.3.3 结果分析

执行上述查询后，我们会得到每个学生的平均成绩。具体结果如下：

id	average_score
1	87.66666666666667
2	89.5

六、注意事项

6.1 空数组或空映射处理

当数组或映射为空时，EXPLODE 函数会返回空行。在实际应用中，需要注意对空行的处理，避免影响后续的数据分析结果。

6.2 性能考虑

LATERAL VIEW EXPLODE 操作会增加数据的行数，可能会对查询性能产生一定的影响。在处理大规模数据时，需要谨慎使用，并结合其他优化手段，如分区、索引等，来提高查询性能。

七、总结

LATERAL VIEW EXPLODE 是 Hive SQL 中处理数组和映射类型数据的强大工具。通过对其语法和使用场景的详细介绍，可以更好地掌握这一方法。在使用过程中，需要注意空数组或空映射的处理以及性能优化等问题。