HiveSQL

hive sql多表练习

hivesql多表练习准备原始数据集学生表student.csv讲师表teacher.csv课程表course.csv分数表score.csv学生表student.csv001,彭于晏,1995-05-
李昊哲小课·2023-11-20 08:02

大数据常见面试题及答案

、rdd的5大特性：2、Hive分桶和分区的区别：3、Hive表动态分区和静态分区4、一个Hive表，数据量很大，分布在集群的100个节点，现在需要定期取top100，如何设计/实现：5、窗口函数6、hivesql
遐想者csdn·2023-11-20 01:18

2023.11.16 hivesql高阶函数之开窗函数

目录1.开窗函数的定义2.数据准备3.开窗函数之排序需求:用三种排序方法查询学生的语文成绩排名,并降序显示4.开窗函数分组需求:按照科目来分类,使用三种排序方式来排序学生的成绩5.聚合函数与分组配合使用6.聚合函数同时和分组以及排序关键字配合使用--需求1：求出每个用户的总pv数,展示所有信息默认第一行到最后一行--需求2：求出每个用户截止到当天，累积的总pv数默认第一行到当前行做题思路,开窗函数
白白的wj·2023-11-19 15:49

Hive常见的面试题（十二道）

Hive1.HiveSQL的执行流程⾸先客户端通过shell或者Beeline等⽅式向Hive提交SQL语句,之后sql在driver中经过解析器（SQLParser）：将SQL字符串转换成抽象语法树AST
地球魔·2023-11-19 15:16

2023-Hive调优最全指南

本文基本涵盖以下内容：一、基于Hadoop的数据仓库Hive基础知识二、HiveSQL语法三、Hive性能优化四、Hive性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、
000X000·2023-11-19 13:43

HiveSql语法与调优

目录一.数据类型对比1.基本数据类型2.集合数据类型二.DDL数据定义1.数据库1.1.创建数据库1.2.显示数据库1.3.查看数据库详情1.4.切换数据库1.5.修改数据库1.6.删除数据库2.表2.1.创建表模板2.2.创建内部表与外部表2.3.创建表指定数据格式2.4.拷贝表结构2.5.创建分区表2.6.分桶与分桶排序2.7.设置表文件存储格式与压缩2.8.获取表信息2.9.修改表2.10.
派大星`·2023-11-19 13:09

【hive基础】hive常见操作速查

文章目录一.hive变量操作1.查看当前hive配置信息2.设置变量3.修改变量4.进入hive终端重新加载配置二.执行hivesql三.启动hive一.hive变量操作1.查看当前hive配置信息#查看当前所有配置信息
roman_日积跬步-终至千里·2023-11-19 00:43

MySQL、HiveSQL、SparkSQL的区别

1、用途角度1）MySQL是一种关系型数据库，主要用于存储和管理结构化数据2）HiveSQL是用于Hadoop平台上的一种SQL-like语言，主要用于对大数据进行查询和分析3）SparkSQL是一种基于
BaoZi969·2023-11-16 03:13

2023.11.14 hivesql的容器,数组与映射

目录https://blog.csdn.net/m0_49956154/article/details/134365327?spm=1001.2014.3001.5501https://blog.csdn.net/m0_49956154/article/details/134365327?spm=1001.2014.3001.55018.hive的复杂类型9.array类型:又叫数组类型,存储同类
白白的wj·2023-11-16 02:20

2023.11.16 hivesql 函数之类型转换,脱敏,与加密函数

1.类型转换函数cast:主要用于类型转换,如果转换失败则返回nullselectcast(3.14asint);--3selectcast(3.14asstring);--'3.14'selectcast('3.14'asfloat);--3.14selectcast('3.14'asint);--3selectcast('binzi'asint);--null很多时候,底层也默认做了自动转换s
白白的wj·2023-11-16 02:49

2023.11.15-hivesql之炸裂函数explode练习

把一个容器的多个数据炸裂出单独展示:explode(容器)需求:将NBA总冠军球队数据使用explode进行拆分，并且根据夺冠年份进行倒序排序。1.建表--step1:建表createtablethe_nba_championship(team_namestring,champion_yeararray)rowformatdelimitedfieldsterminatedby','collecti
白白的wj·2023-11-16 02:46

Hive中使用JOIN时自动过滤掉为NULL的数据

最近工作写hivesql的时候发现了一个问题leftjoin和where一块用时，会出现null值数据丢失的问题研究了一下，发现where写的位置不同会有不同的结果首先准备两张表tableA和tableB
KoHsin_·2023-11-15 10:50

hivesql连续日期统计最大逾期/未逾期案例

1、虚表(测试表和数据)createtest_tableasselecta.cust_no,a.r_date,a.yqtsfrom(select'123'ascust_no,'20231101'asr_date,0asyqtsunionallselect'123'ascust_no,'20231102'asr_date,1asyqtsunionallselect'123'ascust_no,'20
大龙成·2023-11-15 09:48

3.HiveSQL

3.HiveSQL3.1官网介绍http://hive.apache.org/3.2数据库实例操作https://cwiki.apache.org/confluence/display/Hive/LanguageManual
想成为数据分析师的开发工程师·2023-11-15 03:09

【大数据之Hive】

本质：用于将HQL（HiveSQL）转化成MapReduce程序；；Hive中每张表的数据存储在HDFS；Hive分析数据底层的实现是MapReduce；执行程序运行在Yarn上架构原理1）用户接口：Client
JMFFFFF·2023-11-13 12:37

Haddoop大数据教程笔记_09_HIVEsql复杂用法举例

目录HIVEsql复杂用法举例1.保存select查询结果的几种方式：2.行转列,根据主键对某列进行合并3.列转行,将某列数据拆分成多行4.hive实现wordcount5.级联查询实现累积报表(笨办法
Snowing_inhope·2023-11-13 12:02

4.HiveSQL（2）

3.9表分区3.9.1表分区概述Hive分区partition（订单介绍）必须在表定义时指定对应的partition字段，分区的本质相当于在表的目录下在分目录进行数据的存储。分区好处：查询时可以通过过滤不需要的分区下的数据，减少查询时的磁盘IO操作。单分区建表语句：createtableday_table(idint,contentstring)partitionedby(dtstring);单分
想成为数据分析师的开发工程师·2023-11-12 16:20

HiveSQL 常用函数

1.常用日期、数值、集合、字符等处理函数常用日期函数--------------------------------------------------------------------------------将日期格式转换为时间戳：unix_timestampselectunix_timestamp(install_time)fromtable_name--------------------
文文鑫·2023-11-11 06:15

Hive-入门学习之 hive 简介和安装 (1)

Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析).是基于hadoop的一个数据仓库工具(服务性的软件),可以将结构化的数据文件映射为一张表,并提供类似SQL查询.本质是将HiveSQL
算啦粉·2023-11-11 01:37

SQL、MySQL、Hive&Presto的使用区别ing

SQL、MySQL与HiveSQL的使用区别1查询结果前10条数据2返回是周几的函数3查看表结构数量4获取当前时间5从数据库定位到某张表6分号字符；7IS[NOT]NULL8Hive不支持将数据插入现有的表或分区中
追求色彩的程序员·2023-11-10 12:00

常用hivesql记录

前言hivesql中很多常用的功能，过段时间没有使用就容易忘记，需要去网上搜索，这里总结一下，省的以后还去去搜，供自己以后参考。
qq_42693848·2023-11-10 07:14

在window10上安装apache-hive-3.1.3

hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行，hive是一种底层封装了Hadoop的数据仓库处理工具，使用类SQL的hiveSQL
爱上雪茄·2023-11-09 09:22

hiveSql完成类递归计算

和同事一起探讨了个问题挺有意思，记录一下！问题每个月有数据如下：需要计算截止到每个月，前月距离当月月数乘前月阅读数累计之和。类似递归操作：本月到第一个月的累计和，前一个月到第一个月的累计和…一直到第二个月到第一个月的和再加上第一个月最终所有累积和的合计。听起来比较绕，举个栗子：图中每个月的阅读量是a,b,c,d,e。计算结果result如图公式。截止到2014-01月：只有a，距离本月为1个月，即
@nanami·2023-11-05 23:05

hiveSql完成递归计算2.0

hiveSql完成递归计算基础数据分析数据初步思路最终解决方案代码优缺点总结最近遇到一个业务数据的坑，涉及到递归的计算思想，但是需要用hivesql完成计算。经过同事的提点完成了，这里记录一下过程。
@nanami·2023-11-05 23:34

我与Hive的不解之谜系列（三）：Hive的分区表和分桶表及SQL知识

的快速复习复习回顾数据导入loadinsertimport数据导出exportinserthive中的分区表分区的介绍创建分区表分区的查询创建分区hive中的分桶表分桶的概念分桶的意义创建分桶表步骤SQL的快速复习hivesql
菜鸟周星星·2023-11-05 16:09

hivesql,sql 函数总结：

1、NVL函数与Coalesce差异--selectnvl(null,8);--结果是8--selectnvl('',7);--结果是""--selectcoalesce(null,null,9);--结果是9--selectcoalesce("",null,9);--结果是""1.2、NVL函数与Coalesce差异-知乎Oracle中函数以前介绍的字符串处理，日期函数，数学函数,以及转换函数等
Jack_2085·2023-11-05 05:59

Hivesql解析多层Json数据

首先介绍下背景：在之前的一次需求中，需要将mongo表数据导入Hive表使用，导入Hive表时，mongo表数据被存成了一行行的Json格式的字符串，后续使用需要解析出Json中的各个字段。先贴一条要解析的数据（格式化后的），数据我做了一些处理，去除了大部分类似的字段，只保留了比较有代表的几类。这是一条有着多重结构的Json，我要解析字段并将其打平成多条数据。{"id":"1001","sKUs"
hanbh01·2023-11-04 16:07

09- 15 hivesql 基础

hivesql基础：hive简介：hive是基于hadoop的数据仓库mapreduce简介:基础语法：查询语句：selectafrombwherec；Groupby分组Orderby排序执行顺序：From
withxinxin·2023-11-04 15:13

hiveSQL语法及练习题整理(mysql)

目录hiveSQL练习题整理：第一题第二题第三题第四题第五题第六题第七题第八题第九题第十题第十一题第十二题hivesql常用函数：hiveSQL常用操作语句（mysql）hiveSQL练习题整理：第一题我们有如下的用户访问数据
fyl005·2023-11-04 15:05

Hive SQL中的concat、concat_ws、concat_group&列转行,行转列

SEPARATOR,collect_set(column))等价于GROUP_CONCAT()3、Hive之列转行,行转列列转行行转列1、concat函数,concat_ws函数，concat_group函数hivesql
栗子呀！·2023-11-04 10:42

HiveSQL中last_value函数的应用

一、背景在以下数据中如何实现对每一个列按照更新时间取最新的非null值？1aanull2023012023011bbnullnull2023021nullcnullnull2023031dnullnullnull202304如何实现1dcnull202301202301二、last_value函数的使用selectlast_value(age)over(partitionbyaorderbyb,c
文文鑫·2023-11-04 10:04

[shell,hive] 在shell脚本中将hiveSQL分离出去

将HiveSQL语句写在单独的.hql文件中，然后在shell脚本中调用这些文件来执行Hive查询。这样可以将SQL语句与shell脚本分离，使代码更加清晰和易于维护。
言之。·2023-11-03 12:02

HiveSQL高级进阶10大技巧

直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将有一个质的提升，达到一个较高的层次！
尚硅谷铁粉·2023-11-03 07:51

Hivesql-高级进阶技巧

温故而知新，直接上干货，HiveSQL高级进阶技巧，重要性不言而喻。掌握这10个技巧，你的SQL水平将有一个质的提升！
☞空白页·2023-11-03 07:49

HiveSQL高级进阶技巧，掌握这10个技巧，你的SQL水平将有一个质的提升！

1.删除insertoverwritetmpselect*fromtmpwhereid!='666';2.更新insertoverwritetmpselectid,label,if(id='1'andlabel='grade','25',value)asvaluefromtmpwhereid!='666';3.列转行--Step03：最后将info的内容切分selectid,split(info,
莫叫石榴姐·2023-11-03 07:40

学习 SQL 语言大纲

针对不同的数据库，如hivesql、mysql、sqlserver、oracle等，sql语法会有所不同，但是总体上大同小异，只是细微处的差别。
Saropetry·2023-11-03 07:07

HiveSQL高级进阶技巧

目录1.删除2.更新：3.行转列：4.列转行：5.分析函数：6.多维分析7.数据倾斜groupby：join：掌握下面的技巧，你的SQL水平将有一个质的提升！1.删除正常hive删除操作基本都是覆盖原数据；insertoverwritetmpselect*fromtmpwhereid!='666';2.更新：更新也是覆盖操作；insertoverwritetmpselectid,label,if(
浊酒南街·2023-11-03 07:06

2.Hive使用

1.1HiveSQL1.1.1Hive的数据类型primitive_typearray_type//数组格式|map_type//map格式|struct_type//结构体格式primitive_type
南宫萧言·2023-11-03 02:18

Hive面试题持续更新【2023-07-07】

文章目录一、Hive的体系架构二、HiveSQL的执行方式主要有哪几种？三、Hive导入数据的方式有哪些？四、Hive中的表有哪几种？分别有哪些应用场景？五、Hive自带的单行函数有哪些？
程序终结者·2023-11-01 21:35

Hive面试题

Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL
布小昕·2023-11-01 20:58

【hive 面试题】聚合操作时null和‘‘对结果的影响

1、HiveSQL中聚合操作时null和''对结果的影响代码示例：withtempas(selectnullasaunionallselect'111'asaunionallselect'222'asaunionallselect
广阔天地大有可为·2023-11-01 20:58

hiveSql正则方式提取字段中的内容

文章目录hiveSql正则方式提取字段中的内容1.示例hiveSql正则方式提取字段中的内容通过regexp_extract(stringsubject,stringpattern,intindex)UDF
SunnyZ-L·2023-11-01 09:26

Hive使用Calcite CBO优化流程及SQL优化实战

文章目录HiveSQL执行流程Hivedebug简单介绍HiveSQL执行流程Hive使用Calcite优化HiveCalcite优化流程HiveCalcite使用细则Hive向Calcite提供元数据上一篇主要对
zzzzMing·2023-10-27 16:11

shell中hiveSQL的split

这是一个shell脚本a.shsource~/.bashrcdate=$1sql="select...split(category,'\\\|')[0]asname...使用split按照|切分时,前面要加3个\例如只要aaa|bbb前面的部分aaa
言之。·2023-10-27 10:40

[hive] 窗口函数 ROW_NUMBER()

文章目录`ROW_NUMBER()`示例窗口函数ROW_NUMBER()在HiveSQL中，ROW_NUMBER()是一个用于生成行号的窗口函数。它可以为查询结果集中的每一行分配一个唯一的行号。
言之。·2023-10-27 10:59

MaxCompute 自定义 Java UDF

公司大数据开发使用的是阿里云的MaxCompute，MaxCompute自身提供了很多HiveSQL函数，能够满足大部分需求，但是总有一些HiveSQL函数无法满足的需求，比如base64编解码等等，目前
Q以梦为马·2023-10-26 01:47

hivesql之lateral view explode遇到记录为空情况

在正常解析一个有值的字符串时，用lateralviewexplode是完全ok的，但是，当遇到该字符串为空时，如果在使用该函数，就会导致该条记录消失。这时候需要加个outerlateralviewouterexplode转载自https://blog.csdn.net/jarry_cm/article/details/90402833之前小白有写过一篇文章是高效的解析字符串，里面讲到过一个方法：l
C_time·2023-10-25 03:19

hive知识点总结

Hive一、Hive简介什么是HiveHive由FaceBook实现并开源基于Hadoop的数据仓库工具可以将结构化的数据映射为一张数据库表并提供HQL（HiveSql）查询功能底层数据是存储在HDFS
看着天上飞的猪·2023-10-25 01:53

Spark的DataFramex写入Oracle中数据类型转换

1.标准hivesql可参考文章2.SparkDSL风格sql$"field_name".cast(DecimalType(16,4))as"field_name"3.数值类型的值超过Oracle字段精度未在写入数据库之前定义精度
pageniao·2023-10-24 15:15

hivesql关键字在shell脚本中转义

由于start字段在hive中为关键字需要使用飘号转义`start`但是在执行shell脚本时飘号``也有其特使含义所以需要进行二次转义 \`start\`       
asd623444055·2023-10-23 17:33
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他