HiveSQL 第7页

转行大数据该怎么学

为什么大数据行业，大部分岗位都是做离线数仓的工作，写HiveSQL的？我在大数据实习的第一份工作就是大数据分析，目前很多实习生来了也都是安排数据分析工作。因为这一块

qq^^614136809·2023-06-13 11:43

运行hive语句时有很多info怎么消掉

1.提出问题每次启动hive和执行hivesql命令时都打印了很多没用的INFO日志，看起来很繁琐，那么该怎么消除掉这些没用的日志消息问题展示：2.解决方法进入hive的安装目录下：/opt/module

Pseudo-love453·2023-06-10 09:56

Hive执行计划之什么是hiveSQL向量化模式及优化详解

Hive开启向量化模式也是hiveSQL优化方法中的一种，可以提升hive查询速率，也叫hive矢量化。

鲁边·2023-06-09 20:00

beyond the ‘VIRTUAL‘ memory limit

真服了，家人们谁懂啊，第一条hiveSQL就嘎了。

李林楠·2023-06-07 18:26

HiveSql调优系列之Hive严格模式，如何合理使用Hive严格模式

文章目录综述1.严格模式1.1参数设置1.2查看参数1.3严格模式限制内容及对应参数设置2.实际操作2.1分区表查询时必须指定分区2.2orderby必须指定limit2.3限制笛卡尔积3.搭配使用3.1参数3.2搭配使用案例综述在同样的集群运行环境中，hive调优有两种方式，即参数调优和sql调优。本篇讲涉及到的Hive严格模式。前两天在优化一个前人遗留下的sql，发现关于严格模式参数是这样使用

鲁边·2023-06-07 00:59

hive向上取整、向下取整、保留小数位的函数

hivesql向上取整、向下取整、保留小数位的函数1.向上取整函数ceiling()示例：selectceiling(10.1)结果：112.向下取整函数floor()示例：selectfloor(10.9

鲁边·2023-06-07 00:59

Hive执行计划之一文读懂Hive执行计划

目录文章目录概述1.hive执行计划的查看2.学会查看Hive执行计划的基本信息3.执行计划步骤操作过程4.explainextended概述Hive的执行计划描述了一个hiveSQL语句的具体执行步骤

鲁边·2023-06-06 23:31

HIVE基础

实际工作中写impalasql，而使用hive操作大数据其实就是写hivesql，hive是建立在hadoop基础上的数据仓库基础架构它提供一系列工具，进行ETL操作HiveSQL来操作hadoop数据

February13·2023-04-21 21:48

Hive SQL经典面试题：统计连续登陆的三天及以上的用户

HiveSQL经典面试题最近发现一道大数据面试经常会问的SQL题目：统计连续登录的三天及以上的用户（或者类似的：连续3个月充值会员用户、连续N天购买商品的用户等），下面就来记录一下解题思路。

此木Y·2023-04-21 17:09

nifi 读取mysql_nifi 从mysql数据中读取数存入hive中

contentstring)rowformatdelimitedfieldsterminatedby'\t';之前的想法是从mysql读取数据，将数据转为json，再用ConvertJSONToSQL转为hivesql

是TuTu兔·2023-04-20 19:09

详解HiveSQL执行计划

一、前言HiveSQL的执行计划描述SQL实际执行的整体轮廓，通过执行计划能了解SQL程序在转换成相应计算引擎的执行逻辑，掌握了执行逻辑也就能更好地把握程序出现的瓶颈点，从而能够实现更有针对性的优化。

000X000·2023-04-17 21:08

hive json字段解析

在写HiveSQL时，需要从一个json列中解析出多个key的信息，可以使用get_json_object或json_tuple。

MusicDancing·2023-04-17 20:53

数据分析_HiveSQL查询语句

Hive数据类型基本数据类型数据类型长度例子tinyint1byte有符号整数20smallint2byte有符号整数20int4byte有符号整数20bigint8byte有符号整数20boolean布尔类型，true或者falseTRUEfloat单精度浮点数3.14159double双精度浮点数3.14159string字符序列。可以指定字符集。可以使用单引号或者双引号‘nowistheti

haidaozheng·2023-04-17 07:35

tidb迁移hive的坑

hiveconcat函数有一个参数为null，返回结果为null;hivecoalesce函数，其中第一个参数为"，它的返回结果会为";hivesql语句中如果有notin（），括号里面的只能为定值，不能是

xiaoyaoyujh·2023-04-16 13:17

dolphinscheduler之hivecli 任务

hivecli任务Hivecli任务说明dolphinscheduler的hivecli任务是专门执行hivesql的任务类型。其中子类型分为FROM_SCRIPT和FROM_FILE。

神云瑟瑟·2023-04-16 03:51

大数据=SQL Boy,SQL Debug打破SQL Boy 的僵局

网上经常盛传大数据=sqlboy，后端开发=crudboy，算法工程师=调参boy在大数据领域也工作了好几年了，确实大数据开发，很多工作就是写sql，hivesql、sparksql、flinksql等等

诸葛子房_·2023-04-14 18:36

hive select * 语法中去掉部分列

应用场景hive表有很多列，大部分列需要，其中一列不需要，例如分区表的dt字段不要，例如1000列中去掉1列实现方法1.方法hivesql：实现功能select`(dt)?+.

*星星之火*·2023-04-14 03:22

滴滴三面面经JAVA面经

算法一个二叉树给一个target，找到所有sum==target的路径7.Linux命令,各种操作命令，没用过的话还真说不出来8.MapReduce原理9.Spark优化10.数据处理，数据优化，比如hivesql

程序员七十一·2023-04-13 22:34

Hive实战篇-动态分区导致小文件过多

一、问题描述为了支撑相应的业务需求，本次生产环境通过HiveSQL来完成动态插入分区表数据的脚本开发。但是，动态分区的插入往往会伴随产生大量的小文件的发生。

在路上的小苑·2023-04-13 18:45

HiveSQL一天一个小技巧：如何统计当前时间点状态情况【辅助变量+累计变换思路】

入住时间加辅助标记记为1，离店时间加辅助标记记为-1，并按照时间进行顺序排序，求当前累计值，具体SQL如下：参考文章：SQL同时在线问题分析（求最高在线人数以及最高峰时间段）【累加器思想，流式分析】--HiveSql

莫叫石榴姐·2023-04-12 19:57

Hive 自定义UDF函数讲解

需求3.2项目pom文件3.3Hive建表测试及数据3.4UDF函数编写3.5UDTF函数编写四：添加到hive一、UDF描述UDF全称为User-DefinedFunctions,即用户自定义函数，在HiveSQL

冷艳无情的小妈·2023-04-12 15:02

flink sql 知其所以然：flink sql 开发企业级利器之 Dlink

搞大数据开发的同学基本都知道在HUE上面写hivesql贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢？经过博

javastart·2023-04-08 20:40

用AI找答案：hivesql中set可以设置哪些参数

hivesql中set可以设置哪些参数AI:在HiveQL中，SET命令可以用于设置以下参数：hive.execution.engine：指定Hive的执行引擎，包括MapReduce、Tez、Spark

Redamancy_06·2023-04-08 09:18

hiveSQL开窗函数详解

hive开窗函数文章目录hive开窗函数1.开窗函数概述1.1窗口函数分类1.2窗口函数和普通聚合函数的区别2.窗口函数的基本用法2.1基本用法2.2设置窗口的方法2.2.1window_name2.2.2partitionby2.2.3orderby子句2.2.4rows指定窗口大小窗口框架2.3开窗函数中加orderby和不加orderby的区别3.窗口函数用法举例3.1序号函数：row_nu

健鑫.·2023-04-08 08:26

HQL （hive sql）之函数总结

HQL（hivesql）之函数总结1.背景作为操作hive客户端的编程语言，hql有自己的数据类型，自然也有编译器，也有函数。

闻香识代码·2023-04-06 19:09

HQL(Hive SQL) 之查询语句专题汇总

HQL(HiveSQL)之查询语句专题汇总1.背景hive本身是一个将sql语句转换为mapreduce程序运行的转换器hive可以把结构化数据转换到一张表上，并提供查询和分析的功能针对这个过程，hive

闻香识代码·2023-04-06 19:39

大数据 Apache Hive SQL基础（HQL 入门篇）

HiveSQL几乎是每一位互联网分析师的必备技能，相信每一位面试过大厂的童鞋都有被面试官问到Hive优化问题的经历。

Wis57·2023-04-06 18:20

Spark sql 实战案例

1、sparksql操作hivesql添加依赖org.apache.sparkspark-hive_2.112.3.3代码开发importorg.apache.spark.sql.SparkSession

TUJC·2023-04-05 22:35

Mysql查询+hiveSQL查询+SparkSQL查询对比(个人总结)

而hiveSQL和sparkSQL的查询不存在这种问题，计算完成后的数据都是分布式存储的。

Be An Author·2023-04-05 01:29

hiveSQL常见函数及用法（持续收集）

1，时间函数2，聚合函数注意：聚合函数常与SELECT语句的GROUPBY子句一块儿使用。换句话说使用聚合函数时，一个列字段要不在groupby里，要没必要须在聚合函数里面，不能单独出现，不然报错。3，字符串函数4，连接函数5，其他函数6，窗口函数1，lead(col，n,m)over(partitionby…orderby…):其中col是要取的字段，n是取排序后的第几条记录；m是缺省值，如果后

无形风·2023-04-04 10:57

Hive SQL时间函数及用法

HiveSQL时间函数当前官方提供的日期函数共27个，内容如下：1.获取当前系统时间函数：current_timestamp返回值：timestamp返回查询计算开始时的当前时间戳(从Hive1.2.0

PONY LEE·2023-04-04 10:15

hivesql窗口函数

一、累计计算窗口函数sum(field)over(partitionbyfieldorderbyfieldasc/descrowsbetween…and…)avg(field)over(partitionbyfieldorderbyfieldasc/descrowsbetween…and…)max(field)over(partitionbyfieldorderbyfieldasc/descrow

大哇唧·2023-04-04 10:41

OLTP 和 OLAP 的区别；hive与其它框架的区别

导航hiveoutlineOLTP和OLAP的区别hive和mysql主要区别hive和hbase的区别hivesql和sparksql的区别hiveonspark和sparkonhive的区别hiveoutlinehiveoutlineOLTP

塞上江南o·2023-04-04 10:32

HiveSQL函数总结

数学函数保留几位小数(四舍五入)--MySQL可用selectround(1.23456,3)ASf;--取值为1.235向下取整--MySQL可用SELECTFLOOR(1.234)ASI;--取值为1求开方--MySQL可用SELECTSQRT(9)ASs;--取值3.0求模|求余数--MySQL不可用SELECTpmod(10,3)ASp;--取值为1求幂--MySQL可用selectpow

Kukafee·2023-04-04 10:34

Hive SQL函数

HiveSQL函数一、关系运算1.等值比较:=2.不等值比较:6.大于等于比较:>=7.空值判断:ISNULL8.非空判断:ISNOTNULL举例：统计表中字段label非空数量：selectcount

王林-wlin·2023-04-04 10:59

Hive SQL语句操作

HiveSQL语句操作一、任务描述二、任务目标三、任务环境四、任务分析1.大数据离线处理特点2.HDFS3.Yarn框架的组件功能4.Hive五、任务实施步骤1、新建hql文件步骤2、hive中执行此文件步骤

不懂开发的程序猿·2023-04-04 07:34

HiveSQL的执行流程

底层任务调度通过yarn进行资源分配，默认计算引擎为MapReduce，可移植为hiveontez或者hiveonspark，下面是一条hivesql的执行流程：（hive中的四大组件：解析器，编译器，

请学习好嘛·2023-04-04 07:30

hiveSQL:统计视频观看数Top50所关联视频的所属类别Rank

一.统计此题需要多表连接嵌套,需要使用到的内置处理函数有:1.orderbydesc:字段按照降序排列(不加desc默认升序)2.lateralview:(侧写表,关联)用法:LATERALVIEWudtf(expression)tableAliasAScolumnAlia3.explode:将hive一列中复杂的Array或者Map结构拆分成多行4.groupby:按字段分数查询5.count(

请学习好嘛·2023-04-04 07:00

SQL进阶--4__如何使用hiveSQL分离字符串中的字符和数字

如何使用HQL分离字符串中的字符和数字0-需求1-数据分析2-总结0-需求如果数据中存在字符和数字混在一起的情况且放在一列中，此时需要将其中的数字数据和字符数据分开，分别单独成为一列，应该怎么做？如下数据：FLINK434354HADOOP67889HBASE500019KAFKA15999SQOOP13332HELLO57000SPARK13000需要将中文名称和数字单独提取出来，得到如下结果F

KG大数据·2023-04-03 05:35

【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL

1.HiveSQL1.1基本介绍概念Hive由Facebook开发，用于解决海量结构化日志的数据统计，于2008年贡献给Apache基金会。

high2011·2023-04-03 05:58

InfluxDB的查询优化

首先，在学习influxDB的查询优化之前，我们要先学习下InfluxDB的解释器profiler（类似于mysql的Explain语句，不一样的是，sql，hivesql是提前查看执行计划等，Influx

程序员的三板斧·2023-04-02 23:02

hive的常规操作

Hive，是一个数仓管理工具，可以将数仓存在HDFS上的文件变成表，同时提供HiveSQL进行表

zeroLinked·2023-04-01 05:00

hivesql的几种优化的方法

目前项目中由于数据量巨大，导致一个sql要跑一个多小时，所以找了些可以优化的点，记录下来，以后方便使用。1.map的优化，job在maptask的过程时间较长setmapreduce.map.memory.mb=8240;setmapreduce.reduce.memory.mb=8240;sethive.merge.mapfiles=false;setmapreduce.input.filein

桔梗的犬夜叉·2023-04-01 02:42

HiveSQL 与 SQL 的区别

Hive采用了类SQL的查询语言HQL(hivequerylanguage)。除了HQL之外，无任何相似的地方。Hive是为了数据仓库设计的。1、存储位置：Hive在Hadoop上;Mysql将数据存储在设备或本地系统中;2、数据更新：Hive不支持数据的改写和添加，是在加载的时候就已经确定好了;数据库可以CRUD;3、索引：Hive无索引，每次扫描所有数据，底层是MR，并行计算,适用于大数据量;

堂堂正正的大号·2023-03-31 18:59

Hive与传统数据库的比较

Hive通过把HiveSQL进行解析和转换，最终生成一系列在hadoop上运行的mapreduce任务，通过执行这些任务完成数据分析与处理。

糖潮丽子·2023-03-31 01:58

hive架构和原理以及与传统数据库的区别

HiveSQL简称HQL。hive的执行引擎可以是MR、Spark、tez。如果执行引擎是MapReduce的话，hive会将Hql翻译成MR进行数据的计算。用户可以使用命

ChlinRei·2023-03-31 01:10

HIVE—数据仓库

也不分布式计算框架，hive的核心工作就是把sql语句翻译成MR程序；3.hive也不提供资源调度系统，也是默认由Hadoop当中YARN集群来调度；4.可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL

Hekliu·2023-03-30 16:26

HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作

HiveSQL解析原理：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作一、MapReduce实现基本SQL操作的原理1、join的实现原理MapJoin的实现原理CommonJoinResolver

嗷嗷的特Man·2023-03-29 06:46

从一个锁表问题了解hive锁机制

同事遇到一个问题，无论从平台哪里提交HiveSQL，都没有进度，没有日志。

gregocean·2023-03-24 16:38

30分钟掌握 Hive SQL 优化（解决数据倾斜）