HiveSQL

Hive SQL 函数高阶应用场景

HIVE作为数据仓库处理常用工具，如同RDBMS关系型数据库中标准SQL语法一样，HiveSQL也内置了不少系统函数，满足于用户在不同场景下的数据分析需求，以提高开发SQL数据分析的效率。
Moutai码农·2023-10-23 13:22

转：大数据真实案例：Spark在美团的实践

美团最初的数据处理以HiveSQL为主，底层计算引擎为MapRed
爱萨萨·2023-10-23 05:57

hive插入多条数据sql_30分钟入门 Hive SQL（HQL 入门篇）

HiveSQL几乎是每一位互联网分析师的必备技能，相信每一位面试过大厂的童鞋都有被面试官问到Hive优化问题的经历。
高中物理宋老师·2023-10-20 01:53

HiveSql使用max函数失效的问题，返回结果999

表中一共两个字段，tag_name和tag_value，查询出指定tag_name下，tag_value值最大的记录通过以下sql语句，查询出结果为999，不正常selecttag_name,max(a.tag_value)from(selecttag_name,tag_value_numfromhdp_teu_dpd_feature_db.da_wanxiang_druid_number_inp
攻城狮Kevin·2023-10-18 23:27

基于Hadoop的数据仓库Hive的介绍、安装与基本应用

Hive的介绍、安装与基本应用一、概述二、Hive系统架构三、Hive工作原理四、HiveHA基本原理五、Impala六、Hive安装七、Hive编程实战附一：管理表(内部表)附二：外部表附三：分区表附四：HiveSQL
珞清殇·2023-10-18 20:53

Hive-SQL学习笔记

Datamanipulationlanguage）DQL（dataquerylanguage）Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，并提供类似于SQL(HiveSQL
Sais_Z·2023-10-16 06:00

大数据HiveSQL学习笔记二

大数据HiveSQL学习笔记二一、数据库操作1、创建数据库CREATE(DATABASE/SCHEMA)[IFNOTEXISTS]database_name[COMMENTdatabase_comment
lucky_myj·2023-10-16 06:58

大数据HiveSQL学习笔记三-查询基础语法以及常用函数

大数据HiveSQL学习笔记三-查询基础语法以及常用函数一、基础语法1、SELECT…列名…FROM…表名…WHERE…筛选条件…如：需要根据城市，性别找出匹配的10个用户user_info：用户表user_name
lucky_myj·2023-10-16 06:58

HiveSql里group by和order by连用的注意事项

hive的语句执行顺序是groupby...select...orderbyorderby是对前面查询到的结果进行排序，两者连用的语法顺序即select...groupby...orderby注意事项有两点：1.orderby的字段必须是在groupby中，或者是聚合函数1.selectfile1,file2fromtableNamegroupbyfile1,file2orderbyfile1;2
攻城狮Kevin·2023-10-15 23:59

linux下hive指令快使用无介绍版（一）

linux下hive指令快使用无介绍版（一）问题背景hive指令心得Lyric：面朝北问题背景平常项目基本都是直接在代码里面执行hiveSql，在linux下操作hive的指令总是忘记，基于此基础，写一个快速使用版的注意事项
时间是一种解药·2023-10-15 17:19

大数据 Hive 类Sql语法，Hql Join语法详解

一、HIVESQL语法SELECT [ALL | DISTINCT] select_expr, select_expr, ...  
呆若喵喵·2023-10-15 12:30

hive 知识总结

它是Facebook2008年8月开源的一个数据仓库框架，提供了类似于SQL语法的HQL（hiveSQL）语句作为数据访问接口。
添柴少年yyds·2023-10-11 21:17

列转行，行转列（hivesql）

一、笛卡尔积笛卡尔积即交叉连接,返回结果的行数等于两个表行数的乘积。笛卡尔积会出现的可能情况：1.省略连接条件2.连接条件无效3.所有表中的所有数据互相连接二、列转行concat_ws()：concat_ws(separator,字符串A/字段名A,字符串B/字段名B…)是concat的特殊形式，第一个参数是其他参数的分隔符，分隔符会放到连接的字符串之间,分隔符可以是一个字符串，也可以是其他参数.
小白冲啊·2023-10-11 01:35

Hive SQL的窗口函数及特殊函数回顾

HiveSQL中有很多窗口函数值得我们在平时的数据开发处理中好好使用。通常包含排序类、聚合类、累计计算，等。在数据开发的此篇就简单罗列一些窗口函数的SQL例子，做一个复习回顾。
AaronWong12·2023-10-09 16:44

spark-sql调优技巧

sparkSQL概述sparkSQL的前世今生==Shark是专门针对于spark的构建大规模数据仓库系统的一个框架==Shark与Hive兼容、同时也依赖于Spark版本Hivesql底层把sql解析成了
柱子z·2023-10-03 03:21

Hive 分区字段限制

hivesql分区字段不可以有中文，否则会报错如下：FailedwithexceptionMetaException(message:javax.jdo.JDOException:Exceptionthrownwhenexecutingquery
phycsgy·2023-09-29 12:42

求各区域热门商品Top3 - HiveSQL

背景：这是尚硅谷SparkSQL练习题，本文用HiveSQL进行了实现。
小刘新鲜事儿·2023-09-28 09:18

Spark SQL 教程

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写Ma
printf200·2023-09-28 02:44

一百八十八、Hive——HiveSQL查询表中的日期是星期几（亲测，附截图）

一、目的指标需要查询以工作日和周末维度的数据统计，因此需要根据数据的日期判断这一天属于星期几，周一到周五为工作日，周六到周日为周末二、SQL查询（一）SQL语句selectday,casewhenpmod(datediff(create_time,'2023-05-02')+1,7)=1then'周一'whenpmod(datediff(create_time,'2023-05-02')+1,7)
天地风雷水火山泽·2023-09-27 23:40

一场pandas与SQL的巅峰大战(二)

工作中除了MySQL，也经常会使用HiveSQL，相比之下，后者有更为强大和丰富的函数。
hitchc·2023-09-27 12:31

【大数据课程】高途课程实践-Day02：利用Hive SQL编写离线数仓实现可视化展示...

〇、概述1、实现内容使用HiveSQL编程，构造分层离线数仓并可以通过QuickBi进行展示2、过程(1)数据接⼊到ODS层(2)进⾏ODS到DWD层数据开发(3)进⾏ODS到DIM层数据开发a.创建【
哥们要飞·2023-09-25 20:34

datax同步数据翻倍，.hive-staging 导致的问题分析

二、环境Hive版本2.1.1三、分析3.1.hive-staging_hive产生的原因通过SparkSQL、HiveSQL、Hue等提交SELECT或者INSERTOVERWRIT
程序员小陶·2023-09-23 00:28

一百八十一、Hive——海豚调度HiveSQL任务时当Hive的计算引擎是mr或spark时脚本的区别（踩坑，附截图）

一、目的当Hive的计算引擎是spark或mr时，发现海豚调度HQL任务的脚本并不同，mr更简洁二、Hive的计算引擎是Spark时（一）海豚调度脚本#!/bin/bashsource/etc/profilenowdate=`date--date='0daysago'"+%Y%m%d"`yesdate=`date-dyesterday+%Y-%m-%d`hive-e"usehurys_dc_dwd
天地风雷水火山泽·2023-09-22 04:43

json函数 presto_Hive sql和Presto sql的一些对比

最近由于工作上和生活上的一些事儿好久没来博客园了，但是写博客的习惯还是得坚持，新的一年需要更加努力，困知勉行，终身学习,每天都保持空杯心态.废话不说，写一些最近使用到的PrestoSQL和HiveSQL
唐顾权·2023-09-20 08:22

Hive 进阶篇

1.2CTAS语句2.join连接2.0表的创建2.1内连接2.2左右连接2.3全外连接2.4左半开连接2.5交叉连接2.6Hivejoin使用注意事项3.Hive函数以及Linux终端执行3.1终端执行Hivesql
DUT_子陌·2023-09-20 08:51

MySQL、HQL、impala、presto 的语法常见区别（持续更新中）

MySQL、HiveSQL、presto语法常见区别立一个FLAG：等到我有空了再写案例。
LdyLLLLLLLD·2023-09-20 08:17

HIVE控制导出数据的大小和数量

由于他们平台设计的问题，导致只能嵌入sql，所以这面我需要通过hivesql的一些设置来实现这
润土1030·2023-09-19 20:56

开源项目观察8月报

docs.gethue.com/releases/release-notes-4.11.0/支持iceberg数据源通过缓存Livysession中的信息来加速SparkSQL，并适配SparkUDF支持HPL/SQL:hivesql
xiaoliizi·2023-09-19 07:59

详细解释HiveSQL执行计划

一、前言HiveSQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。
000X000·2023-09-16 21:46

一百七十四、Hive——Hive动态分区表加载数据时需不需要指定分区名？

因此，研究一下它们的区别以及使用场景，从而决定在项目的海豚调度HiveSQL的脚本里需不需要指定动态分区的分区名？
天地风雷水火山泽·2023-09-13 06:31

Hive调优（SQL）

作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率；影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响；对Hive的调优既包含对HiveSQL
飞越石之海·2023-09-13 04:39

Shib+Presto 即席查询

SQL查询脚本编写技巧，掌握不同业务的数据存储在不同的数据集市里；不管他们的计算任务是提交给数据库还是Hadoop，计算时间都可能会很长，不可能在线等待；所以，使用者提交了一个计算任务（PIG/SQL/HiveSQL
litongtong1028·2023-09-11 10:54

hivesql执行过程

语法解析SemanticAnalyzerSemanticAnalyzer是Hive中的语义分析器，负责检查HiveSQL程序的语义是否正确。
demo123567·2023-09-10 13:50

解决Hive动态分区小文件过多问题

一、问题描述为了支撑相应的业务需求，本次生产环境通过HiveSQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。
技匠三石弟弟·2023-09-10 06:48

hivesql异常插入不进去数据

neartoken'cardNumber'..errorencountered23/08/3015:16:58ERRORql.Driver:FAILED:SemanticExceptioon1:27'[eventcode,customerId,eventTime,accountNumber,scenarioCode,cardNumber]’ininsertschemaspecificationar
arbalest1080·2023-09-06 08:10

Spark SQL概述，DataFrames,创建DataFrames的案例，DataFrame常用操作（DSL风格语法），sql风格语法

1.2．为什么要学习SparkSQL我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapRed
涂作权的博客·2023-09-01 06:03

关于hive sql进行调优的理解

hive其实是基于hadoop的数据库管理工具，底层是基于MapReduce实现的，用户写的hivesql最终转换成MapReduce的任务运行在hadoop上，不过MapReduce会因为磁盘IO的问题会运行较慢
世润·2023-08-27 07:59

HiveSQL刷题

41、同时在线人数问题现有各直播间的用户访问记录表（live_events）如下，表中每行数据表达的信息为，一个用户何时进入了一个直播间，又在何时离开了该直播间。user_id(用户id)live_id(直播间id)in_datetime(进入直播间的时间)out_datetime(离开直播间的时间)10012021-12-119:30:002021-12-119:53:0010022021-12
青云游子·2023-08-27 07:29

大数据之Spark（5）- SparkSql

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spar
jackyan163·2023-08-26 14:07

大数据-Hive

2）Hive本质Hive是一个Hadoop客户端，用于将HQL（HiveSQL）转化成MapReduce程序。
ONLYYD·2023-08-25 13:27

hive中\u0001、\0001、\0010、\u0010等分隔符切割问题

以‘\u0010’为例hivesql使用split函数时，如果字段内使用的是特殊分隔符（）需要用split(xxx,‘\u0010’)才能正常切割。
大地你王哥·2023-08-24 21:12

hive sql 拆解字段

在HiveSQL中，拆解字段通常涉及到字符串操作，如将一个包含多个部分的字符串拆解成多个独立的字段。可以使用内置的字符串函数来实现这个目标。
sun13047140038·2023-08-23 05:10

Hive使用手册

HiveSQL创建表显示表--显示所有的表showtables;--按照正则表达式显示表SHOWTABLES'.*s';删除表更改表
Bigdata234·2023-08-23 01:46

大数据背景和概念

一、背景1.岗位现状大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
2301_77342543·2023-08-22 00:29

hivesql-dayofweek 函数

返回日期或时间戳的星期几。此函数是extract(DAYOFWEEKFROMexpr)的同义函数。语法dayofweek(expr)参数expr：一个DATE或TIMESTAMP表达式。返回一个INTEGER，其中1=Sunday和7=Saturday。示例>SELECTdayofweek('2009-07-30');5
菜鸟Octopus·2023-08-17 16:58

HIVE SQL实现分组字符串拼接concat

在Mysql中可以通过group_concat()函数实现分组字符串拼接，在HIVESQL中可以使用concat_ws()+collect_set()/collect_list()函数实现相同的效果。
永远在减肥永远110的的小潘·2023-08-16 19:11

2018-04-09 数据仓库技能要求

一、基础技能1关系数据库基础1.1.关系数据库-mysql1.1.1mysql应用1.1.2mysqlsql优化1.2.非关系型数据库-Hive1.2.1.hivesql应用1.2.2Hivesql优化
dataMaster·2023-08-15 15:04

Hivesql/Python求相同老师学生连续上多节课的数据

表结构：表结构方式一：HIVESQL:1.首先按照学生和上课时间排序（升序），并新增一列row值当作参考列SELECTuid,`datetime`,teacher,id,ROW_NUMBER()OVER
当_下·2023-08-11 05:16

数据分析课程笔记 - 19 - HiveSQL 常用优化技巧

大家好呀，这节课学习HiveSQL的常用优化技巧。由于Hive主要用来处理非常大的数据，运行过程由于通常要经过MapReduce的过程，因此不像MySQL一样很快出结果。
爱学习的ai酱·2023-08-10 09:57

HiveSQL之datediff、date_add、date_sub详解及注意坑点

文章目录datediff介绍：示例1：正常情况示例2：负值情况注意：使用场景示例总结date_add介绍：date_sub介绍：注意：datediff介绍：datediff语法:datediff(stringenddate,stringstartdate)返回值:int说明:返回结束日期减去开始日期的天数注意：可能出现结束日期小于开始日期的场景，即返回值可能是负值示例1：正常情况selectdat
富有一文·2023-08-09 07:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他