HiveSQL

hive指标计算：同比

项目场景：通过hivesql进行指标计算求同比：创建hive内表createtableccic_dev.test_yoy(yearmonthstring,citystring,countint)STOREDASPARQUET
滴水石穿，非一日之功·2020-09-10 23:24

技本功|Hive优化之建表配置参数调优（一）

影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。
b732fee81ae2·2020-09-04 15:28

3.Spark基础学习三（Spark_SQL）

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
做个合格的大厂程序员·2020-09-02 16:03

技本功|Hive优化之配置参数的优化（一）

影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。
云掣科技·2020-08-26 13:16

技本功|Hive优化之配置参数的优化（一）

影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。
云掣科技·2020-08-26 11:00

技本功|Hive优化之配置参数的优化（一）

影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解。
云掣YUNCHE·2020-08-25 21:14

Spark基础

为其它场景提供了底层的服务SparkSQL:是Spark处理结构化数据的库，就像HiveSQL,Mysql一样。
班得瑞的猫·2020-08-25 17:11

如何计算留存率（Hive Sql or Spark sql）

看下面这个例子：如上示例所示，我们如何通过HiveSql或者SparkSql解决
沙漏遗失了年华·2020-08-25 17:21

大数据分析利器之hive(三)

大数据分析利器之hive一、课前准备安装hive环境掌握hivesql常见的DDL和DML操作掌握hivesql的分区表构建和使用二、课堂主题本堂课主要围绕hive的查询操作进行讲解。
队列人生·2020-08-25 06:17

Hive SQL 日常工作使用总结

写写日常在使用HiveSQL做分析时经常使用的一些函数或者方法like时间区间排序当前时间类型转换case..when..then句式多列合并条件聚合采样计算百分数正则化匹配DataFrame插入hive
茁壮小草·2020-08-25 05:56

Hive表实现一次查询多次插入需要注意的点

Hivesql里，为了提高查询效率，我们可以将通用的功能模块微服务化，除了可以使用with..as这种优化方式外，本文记录另外一种方式:from()insertinto如果目标表是普通表，则需要插入不同的表
秋名山小桃子·2020-08-25 01:29

FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

执行Hivesql时报错：执行语句和报错详情如下：hive(thnews_new)>>insertintotablethnews_new.thnews_all>selectdate_id.id,date_id.source
孤此一木จุ๊บ·2020-08-24 17:40

日记录-20190718

Excel数据校验，每个数据进行比对，SUM（B2：B3）/E32019-08-09格式更改为2019/8/9:=Year(几行几列)=MONTH()=DAY()=DATE(YEAR,MONTH,DAY)HIVESQL
花晓说·2020-08-24 16:55

hivesql统计日活跃用户

需求2017-09-15号的数据：192.168.33.6,hunter,2017-09-1510:30:20,/a192.168.33.7,hunter,2017-09-1510:30:26,/b192.168.33.6,jack,2017-09-1510:30:27,/a192.168.33.8,tom,2017-09-1510:30:28,/b192.168.33.9,rose,2017-0
忧伤的橘子·2020-08-24 16:42

【大数据面经-数据仓库-03】常用hivesql udf考察

目录explodelateralviewexplod说明，关于内置的hive的udf函数使用，建议直接参考hive官方wikihttps://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-explode(array)explodeexplode()takesinanarray(oramap
踩大侠·2020-08-24 14:30

hive MapJoin 异常 ： return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

点击浏览教程今天写了一个hivesql，A表往B表插入数据，如果公共字段id相同，则不插入，即不存在则插入，否则不插入，这样一个sql，可是执行时报了内存异常，具体信息是：2018-08-1413:45
ikeguang·2020-08-24 14:23

Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execu

hivesql执行join语句报错Error:org.apache.hive.service.cli.HiveSQLException:Errorwhileprocessingstatement:FAILED
Java使我强大·2020-08-24 12:23

Hive优化

核心思想：把HiveSQL当做Mapreduce程序去优化注意:以下SQL不会转为Mapreduce来执行,Explain用于显示执行计划,可以来验证sql是否发生mapreduceselect仅查询本表字段
XtHhua·2020-08-24 09:56

SQL解析框架 - Calcite

最通用的SQL解析框架-Calcite最近在研究Flink，在flink-table中看到了calcite，想到自己一年前刚刚从事大数据时，在HiveSQL就对SQL解析产生了很大的好奇，但当时对于这么多的概念一下子接受不过来就放弃了对
廖嘉逸·2020-08-24 06:37

解析Hive复杂字段2--UDF

前言上一篇文章说道工作中遇到一个需要解析Hive的复杂字段提取HotelId的多个结果的问题，第一时间采用了Hivesql自带的lateralview，explode及正则表达式处理成功，现在尝试采用hiveudf
风筝flying·2020-08-23 17:57

HiveSQL行转列lateral view explore()以及连接concat_ws()和列转行collect_list()&collect_set()区别的使用案例

行转列：在我们使用hive进行数据统计分析时可能有这么一个场景：一行数据中，一个字段中有很多和数据项，我们需要对每个数据项进行一个统计分析。例如：一个人有很多人生的重要阶段，我们有一批人，求在某个阶段的人的总数uid，stage1,jiehun:shengzi:maiche2,maiche:maifang3,maifang:jiehun4,dushu:maiche5,dushu:maifang:j
卷曲的葡萄藤·2020-08-22 23:32

Hive concat函数和concat_ws函数和concat_group函数&row_number over()和sum() over()&列转行,行转列

concat函数,concat_ws函数，concat_group函数hivesql中的concat函数,concat_ws函数，concat_group函数之间的区别CONCAT（）函数CONCAT（
Stefanboy·2020-08-22 20:05

Spark总结（SparkSQL）

SparkSQL的由来我们学过Hive，它是将HiveSQL转化为MapReduce然后提交集群上去运行，大大简化了编写MapReduce的程序的复杂性，但是由于计算的时候效率比较慢。
花掏尽·2020-08-22 14:56

HiveSQL建表-查询

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
*MuYu*·2020-08-22 13:25

hivesql 匹配特殊转义字符

如果需要用like来匹配字符串中的特殊字符，eg.?，\，/。需要对其做转义，否则会当做正则表达被处理。hive>selectchannelfromtest;a?bca_bca.bchive>selectchannelfromtestwherechannellike'%\?%'a?bchive>selectchannelfromtestwherechannellike'%\_%'正则表达式需要转义
*MuYu*·2020-08-22 13:25

4.推荐系统之Hive

一.Hive简介1.1什么是HiveHive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能，底层数据是存储在
Sssssss_A·2020-08-22 01:58

hiveSQL常用句式整理（不定时更新）

基础子查询的语法：（SELECT[ALL|DISTINCT]]FROM[WHERE][GROUPBY][HAVING])注意：1.子查询的SELECT查询必须使用圆括号括起来2.任何可以使用表达式的地方都可以使用子查询，只要它返回的是单个值子查询常用的语法格式WHERE查询表达式[NOT]IN(子查询)WHERE查询表达式比较运算符[ANY|ALL]（子查询）WHERE[NOT]EXISTS(子查
强仔fight·2020-08-21 20:28

大数据： hive 时间维度表初始化 记录步骤

下面是我的一个时间维度表：网上很多用mysql或者是oracle的存储过程初始化数据的，下面我用HiveSql初始化，记录一下。
shrek11·2020-08-21 17:00

[DBA]hive的基本操作

hive的基本操作-奏乐-博客园http://www.cnblogs.com/hankedang/p/5649473.html指定hivesql运行队列setmapreduce.job.queuename
葡萄喃喃呓语·2020-08-21 04:57

Hive----JDBC工具类的建立使用（包括HIVEsql工具类）---IDEA开发

Hive-----JDBC---utilpackagecom.www.hive.util;importjava.sql.*;importjava.util.Date;importjava.util.*;importjava.util.List;publicclassHiveUtil{//成员变量privateConnectionconnection=null;privateStatementsta
qq_37001101·2020-08-21 01:24

知乎 Hive Metastore 实践：从 MySQL 到 TiDB

作者介绍：胡梦宇，知乎数据架构平台开发工程师背景ApacheHive是基于ApacheHadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并且提供了HiveSQL进行查询和分析，在离线数仓中被广泛使用
PingCAP·2020-08-20 17:26

知乎 Hive Metastore 实践：从 MySQL 到 TiDB

作者介绍：胡梦宇，知乎数据架构平台开发工程师背景ApacheHive是基于ApacheHadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并且提供了HiveSQL进行查询和分析，在离线数仓中被广泛使用
PingCAP·2020-08-20 17:25

【赵强老师】什么是Spark SQL？

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
赵强老师·2020-08-20 17:11

【赵强老师】什么是Spark SQL？

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
赵强老师·2020-08-20 17:11

Hive 与 ElasticSearch 的数据交互

本文将详细介绍利用ES与Hive直接的数据交互；通过Hive外部表的方式，可以快速将ES索引数据映射到Hive中，使用易于上手的HiveSQL实现对数据的进一步加工。
oldbalck·2020-08-20 14:10

oppo面试整理

我负责的是其中Filter和OrderBy两种HiveSQL的语法信息的下推，也就是将Filter和OrderBy信息下推给存储层。
柴俊涛·2020-08-20 07:07

python发送含有多个变量的网页正文邮件

接上文，我们在接到自动化需求后，需要把hivesql语句跑出，然后把结果下载下来做成日报并发送给领导，这里就有领导们要求的格式，我们需要用网页语言模仿表格格式，将每日报表呈现出来。
goskiller·2020-08-19 18:38

利用poi把excel转成sql建表语句并写入文件

自我学习可以把现有的excel表格里面的sheet表转成sql建表语句，因为每个表的字段非常多，上百个字段，所以通过这种自动生成建表sql的方式，会比较方便，目前这个仅仅可以满足关系型数据库，后续可能还会增加一个转hivesql
京河小蚁·2020-08-19 04:36

如何1小时快速上手SQL？（小白篇）

为了帮大家尽快实现学习HiveSQL、提数，在大数据领域大干一场的愿望，帮你准备好了数据，准备好了SQL样例，照着学，边学边练，主要是解决学一门新手艺起点高入手难的问题。
滴滴云·2020-08-19 02:54

大数据真实电商数据仓库全流程开发详解

维度建模基础理论第四章：电商大数据一般架构第五章：电商数据平台从零搭建方案参考第二部分：Hadoop&Hive数据仓库技术第一章：电商全分布式开发环境搭建第二章：Hadoop&Hive光速入门第三章：HiveSQL
jqsaebkc·2020-08-18 22:20

spark2.0操作hive

2，为了紧紧执行hivesql。即已有的hive作业迁移到spark上来。
zzzzzzzzzzzzzzzzzxs·2020-08-18 12:57

SparkSQL解决数据倾斜实战介绍(适用于HiveSQL)

一:什么情况会出现数据倾斜?哪些情况会出现数据倾斜:1、shuffle的时候，如果这个产生shuffle的字段为空，会出现数据倾斜2、key有很多，分区数设置的过少，导致很多key聚集在一个分区出现数据倾斜3、当某一个表中某一个key数据特别多，然后使用groupby就会出现数据倾斜4、大表join小表,这两个表中某一个表有某一个key或者某几个key数据比较多，会出现数据倾斜5、大表join大表
是谁注册了我的2052·2020-08-18 12:09

Hive sql面试笔记

Hivesql面试，教训惨痛，特此记录selectstore,count(distinctuid)asuvfromVisitgroupbystore;select*fromUsersorderbyagedesc
weixin_36607803·2020-08-18 12:09

Hive sql优化

hivesql运行太慢，如何优化？经验不丰富的数据分析或者BI工程师往往上来就看sql,调整sql内容，其实不然。
ronaldo_liu2018·2020-08-18 11:49

hive数据倾斜问题

最近在用Hadoop跑批的时候经常遇到，一条hivesql要跑好久才能跑完。相信大部分做数据的童鞋们都会遇到数据倾斜，数据倾斜会发生在数据开发的各个环节中，比如
流风雨情·2020-08-18 11:49

FAILED: ParseException line 1:0 character not supported here

将hivesql文件上传到linux，使用hive-fxxx.sql执行时报错如下：FAILED:ParseExceptionline1:0character''notsupportedhere经过网上查询
lishengping_max·2020-08-18 11:42

hivesql之一行变多行

工作中经常会遇到这类问题：某张事实表中的字段是数组或者是map结构的数据，想把这里面的数据解析出来并且作为新字段和原来的表的表字段一块查看。如果使用split的话，无法将解析出来的元素和原有字段一起观察，所以引出了explode这个udtf，这个函数配合split函数可以将一行数据变成多行数据，例如：selectexplode(split('123,456,789',','))结果：1234567
泽米·2020-08-18 10:52

hivesql之concat函数字符转义

concat函数功能CONCAT(str1,str2,…)返回结果为连接参数产生的字符串。如有任何一个参数为NULL，则返回值为NULL。可以有一个或多个参数。但是当我们想要把字段拼接起来时，如果里面有一些会引起歧义的字符，sql在执行时就会报错，一般是（sql解析异常：parsefailed.sqlsemanticerror）比如下面这个栗子：selectconcat('1231232','--
泽米·2020-08-18 10:52

Spark----Spark SQL概述

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
XiaodunLP·2020-08-18 10:13

SparkSql详细概述

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。
大数据小同学·2020-08-18 10:19
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他