HiveSQL

Hive 面试题 | 连续登陆天数统计

连续登陆天数统计题目分析SQL解析与总结题目分析1.已知table1，请用hivesql分别实现table2和table3table1为用户活跃信息表，其中active_dt为活跃日期。
Klingx·2022-02-28 11:41

Hive sql 行列转换(行转列，列转行)

在Hivesql应用中会遇到“行转列”和“列转行”的场景，下面介绍其基本使用语法。
橘子的博客·2022-02-28 11:08

Hive常用性能优化方法实践全面总结

Hive在执行任务时，通常会将HiveSQL转化为MapReducejob进行处理。因此对Hive的调优，除了对Hive语句本身的优化，也要考虑Hive配置项以及MapRe
大数据学习与分享·2022-02-23 12:57

Hive中的数据迁移--迁移多库数据以及实际遇到的问题解决

如果数据表不是很多，我们可以直接使用HiveSQL来处理，一张一张表的导出，然后在进行导入。
达微·2022-02-22 04:13

Spark之没什么卵用笔记1之Spark SQL背景

Shark通过将hiveSQL转换成RDD的代码，运行在Spark上。随着Spark的发展，Shark对Hive代码的依赖（SQL解析，生成逻辑计划等
没什么卵用的杂鱼·2022-02-18 12:07

hive环境部署

Hive就是可以不用写MapReduceJava代码,而是写Sql语句完成MapReduce所能完成的功能;HiveSql语句经过Hive中的解析器(可以理解为jvm),解析,底层还是会转换成MapReduce
XtHhua·2022-02-16 04:02

HiveSQL高级进阶10大技巧

直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将有一个质的提升，达到一个较高的层次！
·2022-02-15 14:08

spark Sql

image.png二、hive与sparksqlHive，它是将HiveSQL转换成MapReduce然后提
小月半会飞·2022-02-08 17:55

hiveSQL的执行顺序以及hive优化

因为工作时以hivesql为主，所以本文以hivesql进行讲解。hive是基于Hadoop的MapRedu
YFSZ·2022-02-07 11:57

SQL去重方法汇总

在MySQL中通常是使用distinct或groupby子句，但在支持窗口函数的sql（如HiveSQL、Oracle等等）中还可以使用row_number窗口函数进行去重。
·2022-02-04 15:27

大数据SQL优化之数据倾斜解决案例全集

外部表现的话，在HiveSQL任务里看到map或者reduce的进度一直是99%持续数小时没有变化；在SparkSQL里则是某个stage里，正在运行的任务数量长时间是1或者2不变。
·2022-01-05 15:33

最强最全面的大数据SQL面试系列

本文档的SQL主要使用HiveSQL。因内容较多，带目录的PDF查看是比较方便的：最强最全面的大数据SQL经典面试题完整PDF版一、行列转换描述
·2021-12-28 09:10

Hive应用 | Hive性能调优

对Hive的调优可以从架构优化、参数优化以及HiveSQL优化三个方面考虑。一、架构优化1、执行引擎Hive支持多种执行引擎，例如：MR、Tez、Spark等。可以通过hive-
木衍小哥·2021-12-22 13:36

Hive底层原理

目录第六章HIveSQL底层执行原理和源代码解析6.1HIve底层执行架构6.2HIve底层执行原理6.3HIve编译成MapReduce过程6.4HIve编译成MapReduce原理6.4.1Join
斑马！·2021-11-12 18:27

hivesql笔记

一、常用聚合函数count():计数count(distinct字段)去重统计sum():求合avg():平均max():最大值min():最小值二、hivesql执行顺序from-->where-->
t_zcx·2021-11-11 11:00

SQL中的三种去重方法小结

在MySQL中通常是使用distinct或groupby子句，但在支持窗口函数的sql（如HiveSQL、Oracle等等）中还可以使用row_number窗口函数进行去重。
·2021-10-28 16:13

Hive SQL查询left join下on条件和where条件区别

我们通常的认知是联表查询时ON是作用于联表前（时）的过滤条件，WHERE是对联表后的数据的过滤条件，但hivesql查询有个特殊点需要关注，那就是对于leftjoin中的单独针对左表的ON过滤条件有可能会被忽略
代码一天不写我浑森蓝廋·2021-10-20 23:00

hiveSQL面试题--21_美团优选一面【美团】

目录0-面试题1-答案详细解析1.1-自我介绍1.2-到北京工作的医院1.3-SQL题，给一张城市和交易额表，一张城市对应省份表，取出省份总交易额大于500的省份的名字1.4-SQL题，基于刚才，得出省份总交易额[0,500],[500,1000],[1000,+oo]在以下三个区间的省份的数量1.5-SQL题，还是基于刚才，按从小到大的顺序得出每个城市的累计交易额，可以用窗口1.6-根据分隔符划
KG大数据·2021-09-22 20:53

union和union all 的写法

union和unionall都是将两个相同列数的表从上到下拼接起来：例如下图使用union或者unionall之后的结果是1、在mysql中都可以使用union或者unionall，在hivesql中只能使用
张_756c·2021-06-25 14:13

大数据开发实战：离线大数据处理的主要技术--Hive,概念，SQL，Hive数据库

HiveSQL实际上先被SQL解析器进行解析然后被Hive框架解析成一个MapReduce可执行计划，并按照该
金光闪闪耶·2021-06-19 21:44

Hive-初识HIVE（一）

1、Hive由Facebook实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveSQL)查询功能5、底层数据是存储在HDFS上6、Hive
Lucky_Gao·2021-06-13 13:19

spark和hive操作

Hive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能，底层数据是存储在HDFS上。
Jlan·2021-06-12 21:39

Hive SQL的底层编译过程详解

本文结构采用宏观着眼，微观入手，从整体到细节的方式剖析HiveSQL底层原理。
helloHbulie·2021-05-26 10:44

大数据面试通关手册 | Hive面试题之4万字基础调优面试小总结

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、
王知无(import_bigdata)·2021-05-23 18:51

HiveSQL解析过程详解

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入
尼小摩·2021-05-03 12:30

hivesql 连续活跃类需求

1.求出连续活跃用户,连续活跃天数以及连续活跃用户的平均年龄源表:guidagetime0001182021-02-250002222021-02-250002222021-02-26…计算:withoas(selectuid,max(days)asdays,max(age)asagefrom(selectuid,age,daysfrom(selectuid,age,dt,sum(1)over(p
小涛手记·2021-04-29 16:16

Hive Sql case when 不支持子查询

howtomakeselecetsubqueryinhivesql怎么在hivesql中实现select子查询使用row_number()处理例如：selectzoneno,protseno,notetype
万事皆成·2021-04-25 08:48

这些移动编辑快捷键与文字工作的你很配

最近开始频繁地在撸hivesql的代码，因此正在切实地提高自己的代码编辑能力，不摸索还好，一摸索才发现作为文字工作者，匹配上一些常用的文字编辑和移动的快捷键，加上我的罗技键盘，以及程序员必备的sublimetext
九日照林·2021-04-18 08:41

hive sql系列（总结）

每天分享一个sql，帮助大家找到sql的快乐hivesql系列（总结）介绍hivesql系列主打sql，通过案例，从实现到分析，帮助大家找到写sql的快乐hivesql系列目录1.hivesql系列（一
luo981695830·2021-04-17 23:17

Adventure电商分析项目总结

本文是对AdventureBicycle案例的一个总结，记录了整个项目需求分析与实现的过程，主要任务是使用HiveSQL完成ETL过程，并且连接到PowerBI实现可视化，最终将整个分析成果展示出来。
Bourton·2021-04-15 07:17

大数据高频面试题之HiveSQL的转化过程

Hive是如何将SQL转化为MapReduce任务的，整个编译过程分为六个阶段：1.Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树ASTTree；2.遍历ASTTree，抽象出查询的基本组成单元QueryBlock；3.遍历QueryBlock，翻译为执行操作树OperatorTree；4.逻辑层优化器进行OperatorTree变换，合并不必要的ReduceS
大数据面试宝典·2021-04-08 10:44

一文学完所有的Hive Sql（两万字最全详解）

HiveSql大全本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表
·2021-04-01 22:24

一文学完所有的Hive Sql（两万字最全详解）

HiveSql大全本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表
·2021-04-01 22:30

一文学完所有的Hive Sql（两万字最全详解）

HiveSql大全本文基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类：一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表
五分钟学大数据·2021-04-01 16:57

HiveSql/SparkSQL常用函数

一、获取当前时间current_date获取当前日期2018-04-09current_timestamp/now()获取当前时间2018-04-0915:20:49.247二、从日期时间中提取字段year,month,day/dayofmonth,hour,minute,secondExamples:>SELECTday('2009-07-30');30`*1*2dayofweek(1=Sund
·2021-03-22 19:28

HiveSql/SparkSQL常用函数

一、获取当前时间current_date获取当前日期2018-04-09current_timestamp/now()获取当前时间2018-04-0915:20:49.247二、从日期时间中提取字段year,month,day/dayofmonth,hour,minute,secondExamples:>SELECTday('2009-07-30');30`*1*2dayofweek(1=Sund
·2021-03-15 19:40

Oracle、Spark、Hive SQL 正则总结

我的原创地址：https://dongkelun.com/2019/12/02/SQLRegExp/前言学习总结Oracle、Spark、HiveSQL正则匹配函数-函数OralceREGEXP_LIKESparkRLIKE
董可伦·2021-02-27 11:48

数据仓库面试问题汇总

最近三年到了互联网公司，转到做数仓相关的项目，其实主要是用hivesql在做数据处理，就是被鄙视的sqlboy。
Ryan_Fn·2021-02-18 10:30

Hive窗口函数进阶指南

值得注意的是本文中的例子使用的是HQL（HiveSQL），本文需要一定的SQL基础，如果想了解基础SQL，请移步本人的数据分析师之快速掌握SQL基础。两
gongyouliu01·2021-02-16 08:00

hive sql 转 presto sql 的 常见问题：presto instr

都是sql，基本逻辑是一样的，常常出现问题是因为两边都函数不同导致hivesql没法在presto引擎下执行。在我的使用场景中，一些常见的需要替换的函数，现记录下。
Neon_Light·2021-02-05 13:00

分布式离线计算—HiveSQL

原文作者：极客教程原文地址：Hive简介目录MapReduce实现SQL的原理Hive的架构Hive如何实现join操作总结Hive简介，Hive是Hadoop大数据仓库Hive。在数据仓库中，SQL是最常用的分析工具，既然一条SQL可以通过MapReduce程序实现，那么有没有工具能够自动将SQL生成MapReduce代码呢，答案就是Hive。MapReduce的出现大大简化了大数据编程的难度，
测试狗一枚·2021-01-26 09:01

Hive SQL的数仓迁移成Spark SQL，之前的UDF函数怎么办?

前言离线数仓之前的主力工具是hive，有一些处理需要写udf实现，当hivesql迁移成sparksql时。之前的udf函数该怎么办呢，本文为自测并总结。
俩只猴·2021-01-24 14:38

hivesql 执行顺序与常用函数、表连接、coalesce函数

hivesql执行顺序与常用函数：xmind获取链接：https://pan.baidu.com/s/1IppOx-eu17i3mIvYaqZnsA提取码：iasu表连接相关笔记：coalesce函数：
小白冲啊·2021-01-22 17:04

Hive源码本地IDEA调试的正确姿势

Hive源码本地IDEA调试的正确姿势背景环境准备初始化配置修改配置初始化元数据库编译代码启动HiveMetaStore启动Hivesql客户端ClientDriver模式HiveServer2模式启动
喜剧之皇·2021-01-11 11:58

(一)Hive概述与安装

它是基于Hadoop的一个数据仓库工具，能够将结构化的数据文件映射为一张表，并提供类SQL查询功能，我们一般叫HQL(HiveSql)，底层是存储在HDFS上。
leafgood·2021-01-09 22:35

(一)Hive概述与安装

它是基于Hadoop的一个数据仓库工具，能够将结构化的数据文件映射为一张表，并提供类SQL查询功能，我们一般叫HQL(HiveSql)，底层是存储在HDFS上。
leafgood·2021-01-09 17:01

HiveSql面试题12--如何分析去掉最大最小值的平均薪水（字节跳动）

目录0问题描述1数据准备2数据分析3小结0问题描述薪水表中是员工薪水的基本信息，包括雇员编号，部门编号和薪水第1行表示雇员编号为10001的员工在1号部门，薪水为60117元;第2行表示雇员编号为10002的员工在2号部门，薪水为92102元;...第10行表示雇员编号为10010的员工在1号部门，薪水为76884元问题：查询每个部门除去最高、最低薪水后的平均薪水，并保留整数。1数据准备（1）数据
果子学长@小眼睛·2021-01-09 17:27

轻松搞定 Shell 玩转 HiveSQL

运行hiveSQL的方式有以下几种。1.hive交互式命令行即在shell环境下直接使用hive命令，当屏幕下方出现hive>时，就进入了hive的环境，如下图所示。
☞空白页·2021-01-04 09:14

hive

hive定义了简单的类SQL查询语言，称为HiveSQL。hive在执行过程中会将HQL转换为MapReduce执
## name·2021-01-02 16:37

hive中groupby优化_HiveSQL常用优化方法全面总结

Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等等。对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。列裁剪和分区裁剪最基本的操作。所谓列裁剪就是在查询时只读取需要的列，分区裁剪就是只读取需要的分区。以我们的日历记录表
周天无极·2020-12-31 05:16
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他