E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
sparkSQL
SparkSQL
与Hive on Spark的比较
SparkSQL
与HiveonSpark的比较-在路上的学习者-博客频道-CSDN.NEThttp://blog.csdn.net/yeruby/article/details/51448188简要介绍了
葡萄喃喃呓语
·
2020-03-25 06:52
如何向Spark Dataframe 添加一列带有唯一id的列
zipWithUniqueId获取id并重建DataFrame.importorg.apache.spark.sql.SparkSessionvalspark=SparkSession.builder().appName("
SparkSQL
basicexample
zy_now
·
2020-03-23 23:50
spark streaming框架简介
因此，Sparkstreaming相对于其他流式处理框架就更有优势，用途更加广泛，它能够与
sparksql
、机器学习以及图像处理框架无缝连接。
ZPPenny
·
2020-03-23 22:56
浅谈Spark SQL语句解析与基于规则优化（RBO）
之前笔者操刀的多数Spark程序都是用传统的RDDAPI写的，
SparkSQL
用得很少，Flink也如是。
LittleMagic
·
2020-03-23 16:18
Spark DataFrame 开发指南
DataFrame是Spark在RDD之后新推出的一个数据集，从属于
SparkSQL
模块，适用于结构化数据。对于我们这些用惯了数据库表和散列/字典结构的人来说，尤为亲切。
许伦
·
2020-03-23 05:28
Spark学习
.提供了比Map、Reduce更多的高阶函数5.提供了Scala、Python、Java的API以及Scala和Python的shell二、Spark内置库1.SparkStreaming流式数据2.
SparkSQL
JDBCAPI3
一只小青鸟
·
2020-03-23 05:58
Structured Streaming 编程指南
欢迎关注我的微信公众号：FunnyBigData概述StructuredStreaming是一个基于
SparkSQL
引擎的、可扩展的且支持容错的流处理引擎。
牛肉圆粉不加葱
·
2020-03-22 09:27
spark - sql 解析
IDEA测试IDEA语法分析插件下载antlr-v4-grammar-plugin插件安装antlr-v4-grammar分析插件g4语法文件使用的是
sparkSQL
的SqlB
大猪大猪
·
2020-03-22 07:28
基于元数据和sql标准权限验证
简介:用例：(1)hive做为table的存储层，
sparksql
,mapreduce,Presto等等通过Hive'sHCatalogAPI访问元数据信息，进而访问hdfs数据，此时要对hdfs访问做权限控制
留年已忘却
·
2020-03-20 18:51
Spark SQL（三）DataSource
使用
SparkSQL
的DataFrame接口，用户可以方便快速的从多种不同数据源（json/parquet/rdbms等），经过混合处理（比如jsonjoinparquet）,再将处理结果以特定的格式（
Sx_Ren
·
2020-03-20 12:27
Spark Sql 之 cacheTable
1.前言
sparksql
中使用DataFrame/DataSet来抽象表示结构化数据（关系数据库中的table），DataSet上支持和RDD类似的操作，和RDD上的操作生成新的RDD一样，DataSet
aaron1993
·
2020-03-20 12:26
可能是全网最详细的 Spark Sql Aggregate 源码剖析
SparkSql
Aggregate源码剖析本文基于Spark2.3.0源码，其他版本实现可能会略有不同纵观
SparkSql
源码，聚合的实现是其中较为复杂的部分，本文希望能以例子结合流程图的方式来说清楚整个过程
牛肉圆粉不加葱
·
2020-03-20 05:35
使用Hive内置的解析器构建血缘关系
仓库组的HiveQL一般情况下是写好后，定时调度
SparkSQL
来执行的。这些HiveQL格式都差不多的样子insertoverwritetablenamepartition(partitio
GoofyWang
·
2020-03-19 16:58
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki4
·
2020-03-19 03:45
Spark 伪分布式部署
Spark支持SQL、流计算和复杂分析，提供了
SparkSQL
、SparkStreaming、MLli
郭寻抚
·
2020-03-19 00:03
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki4
·
2020-03-18 22:36
Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN
它提供了Java,Scala,Python和R的高级API，以及一个支持通用的执行图计算的优化过的引擎.它还支持一组丰富的高级工具,包括使用SQL处理结构化数据处理的
SparkSQL
,用于机器学习的MLlib
Joyyx
·
2020-03-18 21:55
Scala - DataFrame
基本概念What'sDataFrameADataFrameisequivalenttoarelationaltablein
SparkSQL
[1]。
虎耳
·
2020-03-18 18:20
Spark DataFrame牛刀小试
本文是以
SparkSQL
实现的用户年龄划分，数据类型为：用户年龄age.txt以age.txt文件存于HDFS下。
fisk
·
2020-03-15 15:00
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki4
·
2020-03-15 07:50
原创-大数据平台权限设计分享-spark sql权限
需求背景使用
sparksql
形式操作hive库表数据时，hive-site.xml中的钩子函数不会执行，原因是spark操作hive是独立操作的，简单理解就是spark利用hive的jar方法之间访问底层数据文件
无色的叶
·
2020-03-15 00:40
Spark-SQL之DataFrame基本操作
1、创建DataFrame本文所使用的DataFrame是通过读取mysql数据库获得的，代码如下:valspark=SparkSession.builder().appName("
SparkSQL
basicexample
文哥的学习日记
·
2020-03-14 21:00
Spark SQL 探索
1.环境说明Hadoop2.7.1集群Spark2.0.1集群Hive2.0.12.内容简介
SparkSQL
基本操作3.参考文档本节推荐阅读的理论文章：3.1
SparkSQL
andDataFrameGuide
玄月府的小妖在debug
·
2020-03-14 19:32
1.Spark编程模型
1.1Spark：一体化、多元化的告诉大数据通用计算平台和库基于RDD，Spark成功构架起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功使用
SparkSQL
wangyizhen
·
2020-03-13 21:19
StateStore in Apache Spark Structured Streaming
StateStore定义StructuredStreaming中的查询与面向批处理的
SparkSQL
中的查询不同。在批处理中，查询是针对有限数量的数据进行的，因此计算结果可以是最终的。
阿猫阿狗Hakuna
·
2020-03-13 10:46
sparkSql
和hive的整合（spark on hive）
一、在Spark的安装包下的conf下创建一个文件hive-site.xml，不需要更新到其他的节点，只需要在客户端有一份hive-site.xml就可以javax.jdo.option.ConnectionURLjdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=truejavax.jdo.option.ConnectionDriverNa
wendy0101
·
2020-03-13 10:47
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki4
·
2020-03-12 22:12
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki4
·
2020-03-12 19:33
Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN
它提供了Java,Scala,Python和R的高级API，以及一个支持通用的执行图计算的优化过的引擎.它还支持一组丰富的高级工具,包括使用SQL处理结构化数据处理的
SparkSQL
,用于机器学习的MLlib
那伊抹微笑
·
2020-03-12 18:54
SparkSQL
编程实战
SparkSQL
DataFrame的创建以及基本操作DataFrame可以理解成关系型数据库中的表，它与RDD的差别在于DataFrame有schema信息publicclassDataFrameCreate
毛豆val
·
2020-03-12 13:38
Spark 2.0, high level concept
EntrypointandbasicabstractionForSparkbasemainentrypoint:SparkContextbasicabstraction:RDDFor
SparkSQL
mainentrypoint
abrocod
·
2020-03-12 02:26
spark sql use hive
sparksql
通过
SparkSQL
查询hive中的数据要求提供操作截图切换数据库，选择指定的表；操作sunyonggang@gg01:~/spark-1.4.0-bin-hadoop2.6$.
yonggang_sun
·
2020-03-12 01:00
【Spark实战】
SparkSQL
实战
1实战环境使用Spark-Shell进行练习，Spark-Shell就是一种特殊的SparkSubmit，所以如果你想要使用Spark-Submit的话就需要使用IDE开发打成jar上传到节点上运行2数据格式格式如下：barCode@item@value@standardValue@upperLimit@lowerLimit01055HAXMTXG10100001@KEY_VOLTAGE_TEC_
_和_
·
2020-03-11 14:11
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki4
·
2020-03-11 10:44
sparksql
概述
什么是
SparkSQL
？
SparkSQL
是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。
DB乐之者
·
2020-03-11 09:00
hive日常总结
sparksql
读取mysql数据库和写入mysql数据库时，dataframe字段比表字段多一个直接写入会报错；将表添加一个字段后让DataFrame与表的字段形式统一后，则可以统一插入；dataframe
时待吾
·
2020-03-10 20:39
百分点大数据评测报告：开源OLAP引擎综评（HAWQ、Presto、ClickHouse）
大家都知道开源大数据组件种类众多，其中开源OLAP引擎包含Hive、
SparkSQL
、Presto、HAWQ、ClickHouse、Impala、Kylin等。
wx5e2559231090a
·
2020-03-09 16:39
大数据测评
HAWQ
Presto
ideallij中单步调试spark源码的两种方法
该篇文章介绍多种在ideallij中单步调试spark源码的方法，以
sparksql
为例来进行说明方法一直接通过app的方式进行单步调试本方法假设开发者已经搭建了spark在ideallij中的的运行环境
兵马勇_8f4f
·
2020-03-09 14:26
Spark概述
它还支持一组丰富的高级工具,包括用于SQL和结构化数据处理的
SparkSQL
,用于机器学习的MLlib,用于图形处理的GraphX,以及SparkStreaming。
it_zzy
·
2020-03-09 08:36
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki4
·
2020-03-08 22:58
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki5
·
2020-03-08 07:00
3.
SparkSql
-Spark-SQL之DataSet操作实战
数据集MovieLens1MDatasethttp://files.grouplens.org/datasets/movielens/ml-1m.zipusers.datUserID::Gender::Age::Occupation::Zip-codeimagemovies.datMovieID::Title::Genresimageratings.datUserID::MovieID::Rati
__元昊__
·
2020-03-08 03:07
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki4
·
2020-03-07 03:46
Spark Core
data.txt").flatMap(_.split("/t")).map((_,1)).reduceBykey(_+_).collectspark共有5大组件:SparkCore、SparkStreaming、
SparkSQL
终生学习丶
·
2020-03-06 03:11
在spark链接oracle时报异常java.sql.SQLException: No suitable driver
这里只说的是
SPARKSQL
当中出现的问题第一种场景如果是在本地服务上运行时出现的这个异常那么原因有很多种:1、驱动类写错、jdbcUrl格式错误等等。
仩渧哋寵
·
2020-03-06 02:53
Antlr4 - 自定义
SparkSQL
解析
IDEA测试IDEA语法分析插件下载antlr-v4-grammar-plugin插件安装antlr-v4-grammar分析插件g4语法文件使用的是
sparkSQL
的SqlB
大猪大猪
·
2020-03-03 21:01
8.Spark SQL
SparkSQL
1WhyApacheSpark2关于ApacheSpark3如何安装ApacheSpark4ApacheSpark的工作原理5spark弹性分布式数据集6RDD持久性7spark共享变量
全能程序猿
·
2020-03-03 11:42
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki5
·
2020-03-03 02:47
Antlr4 - 自定义
SparkSQL
解析
>Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙。##IDEA测试**IDEA语法分析插件**下载[antlr-v4-grammar-plugin](https://plugins.jetbrains.com/files/7
kikiki4
·
2020-03-02 07:39
Study Schedule
现在回想一下好像还有几点没完成：主线：Spark1、Spark构架(差一点，这周搞定)2、Job流程、Scheduling(get)3、SparkonYarn(暂定)4、Shuffle机制（暂定）5、Sharkvs
SparkSQL
龙少侠
·
2020-03-01 22:30
上一页
56
57
58
59
60
61
62
63
下一页
按字母分类：
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他