HiveSQL

Spark SQL的基本概念与用法

1.SparkSQL的作用Hive，它是将HiveSQL转换成MapReduce，然后提交到集群上执行的，大大简化了编写MapReduce程序的复杂性，但MapReduce这种计算模型执行效率比较慢。
Cool_Pepsi·2020-07-15 17:48

Spark SQL 教程

我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了
Zebul博·2020-07-15 15:00

在hive SQL中访问以下划线开头的字段

在hiveSQL中访问以下划线开头的字段，例如_column_name时，会报如下错误NoViableAltException(13@[323:1:atomExpression:((KW_NULL)=>
bugcoder321·2020-07-15 14:47

Spark SQL简介及以编程方式实现SQL查询

2.SparkSQL的特点：我们已经学习了Hive，它是将HiveSQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢
wlk_328909605·2020-07-15 13:28

NoViableAltException——记一次hivesql报错异常

createexternaltableifnotexiststmp.off_line_tba(acct_nbrstring,application_nostring,contr_nbrstring,loan_prod_groupstring,product_cdstring,active_datestring,loan_expire_datestring,company_namestring,lo
学海无涯2.0·2020-07-15 13:41

hive join on 条件 与 where 条件区别

文章目录背景业务场景结论背景最近项目组上，来了几个实习生，对Hivesql的join的使用不是很熟悉，几个人写出来的sql看上去感觉都是一样的，但结果可能会出现，扫描全表，耗时过久，造成数据有所有差异业务场景根据常见的场景
yjgithub·2020-07-15 11:30

Java IO 字节流 字符流写入、读取、复制文件

aura.txt"，利用程序在文件中写入如下内容："Hadoop（hdfs、mapreduce、yarn）元老级大数据处理技术框架，擅长离线数据分析,Hbase分布式海量数据库，离线分析和在线业务通吃,Hivesql
Song_MJ·2020-07-15 11:45

hive mapjoin使用

今天遇到一个hive的问题，如下hivesql：selectf.a,f.bfromAtjoinBfon(f.a=t.aandf.ftime=20110802)该语句中B表有30亿行记录，A表只有100行记录
xqy1522·2020-07-15 10:39

HiveQL常用查询语句where、group by、having、join子句记录

由于hivesql中查询语句时，常用查询条件比较多，所以专门写一篇博文对HiveQL的查询语句进行总结，理清联系和区别。
攻城狮Kevin·2020-07-15 09:17

hive sql数据分析面试整理

1.写作目的说明hivesql是从事数据分析的同学的基本功。
wuxiaosi808·2020-07-15 09:23

hivesql中的concat函数,concat_ws函数，concat_group函数之间的区别

一、CONCAT（）函数CONCAT（）函数用于将多个字符串连接成一个字符串。使用数据表Info作为示例，其中SELECTid,nameFROMinfoLIMIT1;的返回结果为±—±-------+|id|name|±—±-------+|1|BioCyc|±—±-------+1、语法及使用特点：CONCAT(str1,str2,…)返回结果为连接参数产生的字符串。如有任何一个参数为NULL，
孤数不证·2020-07-15 08:30

hive sql大全，函数，运算符，字符处理

hivesql大全目录一、关系运算：…4等值比较:=.4不等值比较:.5大于等于比较:>=.5空值判断:ISNULL.5非空判断:ISNOTNULL.6LIKE比较:LIKE.6JAVA的LIKE操作:
weixin_42488812·2020-07-15 07:25

Hive优化总结（转）

Hive优化总结---by食人花优化时，把hivesql当做mapreduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。
weixin_34260991·2020-07-15 05:07

hive 中的map join 操作

今天遇到一个Hive的问题，如下hivesql：selectf.a,f.bfromAtjoinBfon(f.a=t.aandf.ftime=20110802)该语句中B表有30亿行记录，A表只有100行记录
weifengLD·2020-07-15 01:28

详解Hive的架构、工作原理及安装步骤

分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL去查询分析需要的内容，这套SQL简称HiveSQL
ywendeng·2020-07-15 00:29

HiveSQL正则表达式的应用

最近工作中数据处理方面用到很多不是特别容易处理的数据，用正则表达式的话会让语句显得特别精简，也可以用各种字符串截取函数嵌套处理（必须要有一定规律），总结一下经常用到的几个。1.正则的通配符简介1）正则表达式的符号及意义^表示开头$表示结尾.表示任意字符*表示任意多个/做为转意，即通常在"/"后面的字符不按原来意义解释，如/b/匹配字符"b"，当b前面加了反斜杆后//b/，转意为匹配一个单词的边界。
冯剑·2020-07-15 00:15

Hive 架构与性能优化

-1Hive架构蜂巢模型架构更新一张hive流程图:--2018-11-07Hive提供了Hadoop的SQL能力，主要参考标准的SQL，Hive进行了部分的修改，形成了自己的特有的SQL语法HQL（HiveSQL
CaseyChen5213·2020-07-14 23:29

Hive

什么是Hive1、Hive由Facebook实现并开源2、是基于Hadoop的一个数据仓库工具3、可以将结构化的数据映射为一张数据库表4、并提供HQL(HiveSQL)查询功能5、底层数据是存储在HDFS
墨染繁华执念心悠·2020-07-14 18:54

HiveSQL分组取topN

参考sql:##统计国内，各省份的城市排名selectb.*from(selectcountry,province,city,cnt,row_number()over(partitionbycountry,provinceorderbycntdesc)rankfrom(selectcountry,province,city,count(1)ascntfromtb_pmp_region_report
qingtian951378·2020-07-14 16:42

Hive SQL函数整理

hivesql跟mysql还是有点区别的。这里整理下一些自己常用的函数。
惟是致良知·2020-07-14 11:59

hive窗口函数总结

一：前言根据官网的介绍，hive推出的窗口函数功能是对hivesql的功能增强，确实目前用于离线数据分析逻辑日趋复杂，很多场景都需要用到。以下就是对hive窗口函数的一个总结附上案例。
gongpulin·2020-07-14 10:08

HiveSql面试题4详解（窗口函数应用之移动范围计算，详解窗口函数）

目录0需求分析1需求实现2小结0需求分析有如下数据表：A2015-015A2015-0115B2015-015A2015-018B2015-0125A2015-015A2015-024A2015-026B2015-0210B2015-025A2015-0316A2015-0322B2015-0323B2015-0310B2015-0311需求如下：每个用户截止到每月为止的最大单月访问次数和累计到该
果子学长@小眼睛·2020-07-14 10:34

Hadoop集群MYSQL的安装

在大数据分析的系统中作为离线分析计算中比较普遍的两种处理思路就是：1、写程序利用mapper-Reducer的算法平台进行分析；2、利用Hive组件进行书写HiveSQL进行分析。第二种方法用到的
chuaiwei1891·2020-07-14 09:01

SparkSQL优化之输入小文件是否需要合并?

Note:spark版本2.3.1HiveSQL优化时,输入分片需要开启参数进行合并,否则会产生很多分片.那么SparkSQL是如何应对大量输入小文件的呢?
MichaelZhu·2020-07-14 07:11

hive sql 根据出生日期计算年龄（闰年同样准确）

需求：根据用户出生日期，用hivesql计算用户年龄由于闰年原因，直接用datediff计算当前与出生日期天数去除以365会造成年龄不准确，所以对数据进行处理来计算准确的年龄selectif(datediff
cow cow fly·2020-07-14 06:05

学习Hive(五)Hive 优化

Hive优化核心思想是把HiveSql当做MapReduce去优化。1、select查询本表、where进队本表字段做过滤时不会转为MapReduce执行。原因：Hive抓取策略配置。
MrBack·2020-07-14 05:30

使用HiveSQL实现开始到结束日期之间的所有日期

Hivesql实现日期间所有日期或返回所有日期如给定起止日期返回中间所有日期（posexplode比explode多返回一个postion，利用postion进行下一步的关联操作）给定表user如下：uidstart_dateend_date12020
TankPush·2020-07-14 04:36

SparkSql用户自定义函数（UDF函数）

前言大部分SparkSql算子或者HiveSql能够解决大部分问题，但有的问题单纯的用现有的API很难实现，这个时候就得用到UDF函数了。
SunnyRivers·2020-07-14 03:02

Hive之Grouping Sets函数

GROUPINGSETS就是一种将多个GROUPBY逻辑UNION写在一个HIVESQL语句中的便利写法。GROUPINGSETS会把在单个GROUPBY逻辑
数据小白的进阶之路·2020-07-14 03:30

hive使用窗口函数实现n分位数据分析

hive使用窗口函数实现n分位数据分析hive使用窗口函数实现n分位背景hivesql实现hive使用窗口函数实现n分位实际工作中，我们可能会遇到需要获取高质量的用户、主播或者大R的白名单来进行标签输入或者精准推送促活之类的需求以下以主播中用户观看时长为例背景图片说明
喜欢许静敏·2020-07-14 01:28

Hive SQL基础练习

HiveSQL文章目录HiveSQL一.Hive的DDL操作1.操作数据库2.操作表①管理表②外部表③分区表④分桶表⑤修改表⑥向表中加载数据⑦其他表操作二.hive的DML查询语法1.limit语句2.
DevinKim·2020-07-14 00:26

Hive 工作原理

HiveSQL任务本质上最后是转化成了MapReduce任务执行。
heamon7·2020-07-13 19:10

Spark&HiveSQL中Join操作的谓词下推？

前言：SparkSQL和HiveSQL的Join操作中也有谓词下推？今天就通过大神的文章来了解下。同样，如有冒犯，请联系。
Magician~·2020-07-13 09:18

分析工具学习笔记系列

一、EXCELEXCEL数据分析技巧EXCEL数据分析案例二、SQLSQL数据分析技巧SQL数据分析实战案例hivesql四、pythonpython数据分析python机器学习https://blog.csdn.net
anne_wang_swufe·2020-07-12 12:08

大数据hadoop领域技术总体介绍（各个组件的作用）

星期六大数据领域技术总体介绍（各个组件的作用）1、大数据技术介绍大数据技术生态体系：Hadoop元老级分布式海量数据存储、处理技术系统，擅长离线数据分析Hbase基于hadoop的分布式海量数据库，离线分析和在线业务通吃Hivesql
weixin_34072637·2020-07-12 08:14

hadoop组件及其作用

Hivesql数据仓库工具，使用方便，功能丰富，基
weixin_30384217·2020-07-12 05:55

HiveSQL percentile和percentile_approx 函数计算千分数

hive里面有个percentile函数和percentile_approx函数，其使用方式为percentile(col,p)、percentile_approx(col,p)，p∈(0,1)p∈(0,1)其中percentile要求输入的字段必须是int类型的，而percentile_approx则是数值类似型的都可以。其实percentile_approx还有一个参数B：percentile
小晓酱手记·2020-07-11 23:20

hive sql 底层语法解析-格式化

但对hivesql来说目前还没有比较好的工具可以直接拿过来用。1.ApexSQLRefactorSQLformatterhttps://www.apexsql.com/sql-tools-refac
君子意如何·2020-07-11 19:38

HiveSQL中常见的聚合函数，窗口函数有哪些？作用是什么？

1.聚合函数(把多行处理成一行)sum：求和count：计算总数max：最大值min：最小值avg：平均值。。。2.窗口函数over（）：指定分析函数工作的窗口的大小。currentrow：当前行npreceding:往前n行数据nfollowing:往后n行数据unbounded:起点unboundedprecening:从前面的起点开始unboundedfollowing:表示到后面的终点la
有风微冷·2020-07-11 18:12

知乎 Hive Metastore 实践：从 MySQL 到 TiDB

作者介绍：胡梦宇，知乎数据架构平台开发工程师背景ApacheHive是基于ApacheHadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并且提供了HiveSQL进行查询和分析，在离线数仓中被广泛使用
PingCAP·2020-07-11 13:25

Impala安装文档完整版

除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（HiveSQL），ODBC驱动程序和用户界面（HueBeeswax）。
joerong888·2020-07-11 09:18

SparkSql中时间阈操作【窗口函数】

最长签到，累计消费等问题，其实映射到其他业务场景也就变成了类似的计算；如游戏领域，连续登陆时间，连续签到时长，最大连续签到天数等常见的业务场景；方法都是共通的，这里就用sparksql来实现一些方法，hivesql
哈士奇说喵·2020-07-10 22:08

Hive SQL 优化

要想做好hive优化，首先要理解MR过程，HiveSQL转换为MR的过程，以及Hive表的分区分桶机制。本质上的优化是，减少读，避免shuffle和增加并发度。
Mr_Hagrid·2020-07-10 20:51

hive SQL基础经典练习题(上）

hiveSQL基础经典练习题(上）hiveSQL入门容易，精通很难。基础的巩固相当重要，看起来简单易入门的SQL其实是千变万化的，能一次写正确SQL的工程师，亦然遵守二八法则。
Hero.Lin·2020-07-10 10:58

Hive sql和Presto sql的一些对比

最近由于工作上和生活上的一些事儿好久没来博客园了，但是写博客的习惯还是得坚持，新的一年需要更加努力，困知勉行，终身学习,每天都保持空杯心态.废话不说，写一些最近使用到的PrestoSQL和HiveSQL
weixin_30699235·2020-07-10 06:57

Hive之数据类型

Hive是基于Hadoop的一个数据仓库工具，一个数据仓库分析系统，在Hadoop中用来处理结构化数据，可以将结构化的数据映射为一张数据库表，并提供HQL（hiveSQL）查询功能，底层数据是存储在HDFS
摘星大师·2020-07-09 18:34

linux执行命令返回值问题

问题背景：在linux中执行python脚本，脚本中使用cmd调用hive-e来执行hivesql，脚本使用命令的exitcode退出。
「已注销」·2020-07-09 12:23

Hive/HiveSQL常用优化方法全面总结

对Hive的调优既包含对HiveSQL语句本身的优化，也包含Hive配置项和MR方面的调整。
xinxindsj·2020-07-09 02:59

大数据干货丨Hive 与 ElasticSearch 的数据交互

本文将详细介绍利用ES与Hive直接的数据交互；通过Hive外部表的方式，可以快速将ES索引数据映射到Hive中，使用易于上手的HiveSQL实现对数据的进一步加工。
xinxindsj·2020-07-09 02:58

Spark SQL概述

Hive：将SQL语句转换成MapReduce程序执行，HiveSQL查询的MapReduce作业转化过程：输入将SQL转换成抽象语法树将抽象语法树转换成查询块将查询块转换成逻辑查询计划重写逻辑查询计划将逻辑查询计划转成物理计划选择最佳的优化查询策略输出
夕阳惜夏·2020-07-08 19:52
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他